forked from mtusi2026/mtusi2026lab7
лр7: Docker-прогон, evidence, исправления
This commit is contained in:
@@ -0,0 +1,80 @@
|
||||
"""Приём вложения (lab5): staging в S3 + задание в PostgreSQL до ответа 202.
|
||||
|
||||
Распределённой транзакции между S3 и PostgreSQL нет, порядок записи выбран так, чтобы у каждого
|
||||
объекта в bucket была строка-указатель в БД, а у каждого 202 — устойчивый исходник и намерение:
|
||||
|
||||
1. INSERT attachments (state=uploading, source_key) и COMMIT — упало: в S3 ничего нет, клиенту 503.
|
||||
2. PUT исходника в staging/<hex> — упало: удаляем объект (PUT мог пройти)
|
||||
и строку, клиенту 503. Если и это не вышло —
|
||||
uploading-строку уберёт janitor после grace.
|
||||
3. ОДНА транзакция: state=queued + attachment_jobs + outbox + NOTIFY, COMMIT
|
||||
— упало/неизвестно: клиенту 503, строка
|
||||
остаётся uploading -> janitor удалит объект
|
||||
и строку. Если COMMIT всё же прошёл, задание
|
||||
есть и будет обработано (повтор клиента даст
|
||||
второе вложение — в контракте нет ключа).
|
||||
4. 202 Attachment(status=queued) — только после шага 3.
|
||||
|
||||
Брокер в этом пути не участвует: сообщение из outbox публикует dispatcher. Поэтому недоступный
|
||||
брокер или упавший worker не мешают приёму, а API никогда не делает resize синхронно.
|
||||
"""
|
||||
import logging
|
||||
from uuid import UUID, uuid4
|
||||
|
||||
import db
|
||||
import settings
|
||||
import storage
|
||||
from errors import unavailable
|
||||
from uploads import ImageInfo, Upload
|
||||
|
||||
log = logging.getLogger("messenger.attachments")
|
||||
|
||||
|
||||
def store(chat_id: UUID, owner_id: UUID, filename: str, upload: Upload, image: ImageInfo) -> dict:
|
||||
attachment_id = uuid4()
|
||||
key = storage.new_key(uuid4().hex)
|
||||
db.create_upload_intent(attachment_id, chat_id, owner_id, filename, image.content_type,
|
||||
upload.size, upload.sha256, image.width, image.height, key)
|
||||
try:
|
||||
storage.put(key, upload.file, upload.size, image.content_type, upload.sha256)
|
||||
except storage.StorageUnavailable:
|
||||
compensate(attachment_id, key)
|
||||
raise unavailable("File storage is temporarily unavailable") from None
|
||||
row = db.enqueue_upload(attachment_id, "api@" + settings.INSTANCE_ID)
|
||||
if row is None:
|
||||
# janitor уже признал загрузку брошенной и удалил объект (возможно только при зависании дольше grace).
|
||||
log.warning("Upload %s was reclaimed before it was queued", attachment_id)
|
||||
raise unavailable()
|
||||
log.info("Attachment %s accepted into staging and queued", attachment_id)
|
||||
return {**row, "variants": []}
|
||||
|
||||
|
||||
def compensate(attachment_id: UUID, key: str) -> None:
|
||||
"""Откат после неудачного PUT. Любая ошибка здесь не страшна: остаток уберёт janitor."""
|
||||
try:
|
||||
storage.delete(key, quick=True)
|
||||
db.delete_upload_intent(attachment_id)
|
||||
log.info("Upload %s rolled back after S3 failure", attachment_id)
|
||||
except Exception as exc: # noqa: BLE001 — откат best-effort, исходную ошибку отдаём клиенту
|
||||
log.warning("Rollback of upload %s postponed to janitor: %s", attachment_id, type(exc).__name__)
|
||||
|
||||
|
||||
def public(row: dict) -> dict:
|
||||
"""Строка БД -> Attachment из контракта (без ключей S3, размеров в пикселях и служебных полей)."""
|
||||
return {
|
||||
"id": row["id"],
|
||||
"chat_id": row["chat_id"],
|
||||
"owner_id": row["owner_id"],
|
||||
"filename": row["filename"],
|
||||
"content_type": row["content_type"],
|
||||
"size_bytes": row["size_bytes"],
|
||||
"sha256": row["sha256"],
|
||||
"status": row["state"],
|
||||
"variants": [
|
||||
{key: v[key] for key in ("name", "content_type", "size_bytes", "width", "height", "sha256")}
|
||||
for v in row.get("variants", [])
|
||||
],
|
||||
"error_code": row["error_code"] if row["state"] == "failed" else None,
|
||||
"created_at": row["created_at"],
|
||||
"updated_at": row["updated_at"],
|
||||
}
|
||||
Reference in New Issue
Block a user