"""Приём вложения (lab5): staging в S3 + задание в PostgreSQL до ответа 202. Распределённой транзакции между S3 и PostgreSQL нет, порядок записи выбран так, чтобы у каждого объекта в bucket была строка-указатель в БД, а у каждого 202 — устойчивый исходник и намерение: 1. INSERT attachments (state=uploading, source_key) и COMMIT — упало: в S3 ничего нет, клиенту 503. 2. PUT исходника в staging/ — упало: удаляем объект (PUT мог пройти) и строку, клиенту 503. Если и это не вышло — uploading-строку уберёт janitor после grace. 3. ОДНА транзакция: state=queued + attachment_jobs + outbox + NOTIFY, COMMIT — упало/неизвестно: клиенту 503, строка остаётся uploading -> janitor удалит объект и строку. Если COMMIT всё же прошёл, задание есть и будет обработано (повтор клиента даст второе вложение — в контракте нет ключа). 4. 202 Attachment(status=queued) — только после шага 3. Брокер в этом пути не участвует: сообщение из outbox публикует dispatcher. Поэтому недоступный брокер или упавший worker не мешают приёму, а API никогда не делает resize синхронно. """ import logging from uuid import UUID, uuid4 import db import settings import storage from errors import unavailable from uploads import ImageInfo, Upload log = logging.getLogger("messenger.attachments") def store(chat_id: UUID, owner_id: UUID, filename: str, upload: Upload, image: ImageInfo) -> dict: attachment_id = uuid4() key = storage.new_key(uuid4().hex) db.create_upload_intent(attachment_id, chat_id, owner_id, filename, image.content_type, upload.size, upload.sha256, image.width, image.height, key) try: storage.put(key, upload.file, upload.size, image.content_type, upload.sha256) except storage.StorageUnavailable: compensate(attachment_id, key) raise unavailable("File storage is temporarily unavailable") from None row = db.enqueue_upload(attachment_id, "api@" + settings.INSTANCE_ID) if row is None: # janitor уже признал загрузку брошенной и удалил объект (возможно только при зависании дольше grace). log.warning("Upload %s was reclaimed before it was queued", attachment_id) raise unavailable() log.info("Attachment %s accepted into staging and queued", attachment_id) return {**row, "variants": []} def compensate(attachment_id: UUID, key: str) -> None: """Откат после неудачного PUT. Любая ошибка здесь не страшна: остаток уберёт janitor.""" try: storage.delete(key, quick=True) db.delete_upload_intent(attachment_id) log.info("Upload %s rolled back after S3 failure", attachment_id) except Exception as exc: # noqa: BLE001 — откат best-effort, исходную ошибку отдаём клиенту log.warning("Rollback of upload %s postponed to janitor: %s", attachment_id, type(exc).__name__) def public(row: dict) -> dict: """Строка БД -> Attachment из контракта (без ключей S3, размеров в пикселях и служебных полей).""" return { "id": row["id"], "chat_id": row["chat_id"], "owner_id": row["owner_id"], "filename": row["filename"], "content_type": row["content_type"], "size_bytes": row["size_bytes"], "sha256": row["sha256"], "status": row["state"], "variants": [ {key: v[key] for key in ("name", "content_type", "size_bytes", "width", "height", "sha256")} for v in row.get("variants", []) ], "error_code": row["error_code"] if row["state"] == "failed" else None, "created_at": row["created_at"], "updated_at": row["updated_at"], }