forked from mtusi2026/mtusi2026lab4
73 lines
4.0 KiB
Python
73 lines
4.0 KiB
Python
"""Сохранение вложения: PostgreSQL (метаданные) + S3 (байты) без распределённой транзакции.
|
|
|
|
Порядок записи и что происходит при отказе на каждом шаге:
|
|
|
|
1. INSERT attachments (state=uploading) и COMMIT — упало: в S3 ничего нет, клиенту 503.
|
|
2. PUT объекта в S3 — упало: удаляем объект (на случай, если PUT
|
|
на самом деле прошёл) и строку, клиенту 503.
|
|
Если и это не вышло — остаётся uploading-строка,
|
|
её уберёт janitor после grace period.
|
|
3. UPDATE state=ready и COMMIT — упало/неизвестно: клиенту 503; строка остаётся
|
|
uploading, объект есть -> janitor удалит оба.
|
|
Объект сразу НЕ удаляем: при обрыве связи COMMIT
|
|
мог пройти, и удаление сломало бы ready-вложение.
|
|
4. 201 клиенту — только после шага 3.
|
|
|
|
Клиенту видны и прикрепляемы только ready-строки, поэтому незавершённая загрузка ни на что не влияет.
|
|
"""
|
|
import logging
|
|
from uuid import UUID, uuid4
|
|
|
|
import db
|
|
import storage
|
|
from errors import unavailable
|
|
from uploads import ImageInfo, Upload
|
|
|
|
log = logging.getLogger("messenger.attachments")
|
|
|
|
|
|
def store(chat_id: UUID, owner_id: UUID, filename: str, upload: Upload, image: ImageInfo) -> dict:
|
|
attachment_id = uuid4()
|
|
key = storage.new_key(uuid4().hex)
|
|
db.create_upload_intent(attachment_id, chat_id, owner_id, filename, image.content_type,
|
|
upload.size, upload.sha256, image.width, image.height, key)
|
|
try:
|
|
storage.put(key, upload.file, upload.size, image.content_type, upload.sha256)
|
|
except storage.StorageUnavailable:
|
|
compensate(attachment_id, key)
|
|
raise unavailable("File storage is temporarily unavailable") from None
|
|
row = db.finish_upload(attachment_id)
|
|
if row is None:
|
|
# janitor уже признал загрузку брошенной и удалил объект (возможно только при зависании дольше grace).
|
|
log.warning("Upload %s was reclaimed before it finished", attachment_id)
|
|
raise unavailable()
|
|
return row
|
|
|
|
|
|
def compensate(attachment_id: UUID, key: str) -> None:
|
|
"""Откат после неудачного PUT. Любая ошибка здесь не страшна: остаток уберёт janitor."""
|
|
try:
|
|
storage.delete(key, quick=True)
|
|
db.delete_upload_intent(attachment_id)
|
|
log.info("Upload %s rolled back after S3 failure", attachment_id)
|
|
except Exception as exc: # noqa: BLE001 — откат best-effort, исходную ошибку отдаём клиенту
|
|
log.warning("Rollback of upload %s postponed to janitor: %s", attachment_id, type(exc).__name__)
|
|
|
|
|
|
def public(row: dict) -> dict:
|
|
"""Строка БД -> Attachment из контракта (без object_key и размеров в пикселях)."""
|
|
return {
|
|
"id": row["id"],
|
|
"chat_id": row["chat_id"],
|
|
"owner_id": row["owner_id"],
|
|
"filename": row["filename"],
|
|
"content_type": row["content_type"],
|
|
"size_bytes": row["size_bytes"],
|
|
"sha256": row["sha256"],
|
|
"status": "ready",
|
|
"variants": [],
|
|
"error_code": None,
|
|
"created_at": row["created_at"],
|
|
"updated_at": row["updated_at"],
|
|
}
|