Files
mtusi2026lab4/app/database_functions/attachments_functions.py
vest1ter 44ae7b2472 ЛР4 на 5: вложения в MinIO, отказоустойчивость, трек 2 (сверка S3 и PostgreSQL)
Уровень 3:
- код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose,
  идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой
- метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер
- upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности,
  безопасный filename; 201 только после PUT и COMMIT; download потоком через API
- attachment_ids в сообщениях (только файлы своего чата, FK в БД)
- 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness

Уровень 4:
- 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД
- компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти
- эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты;
  исправлены удержание соединения БД во время загрузки и таймаут отправки в S3

Уровень 5, трек 2:
- reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period,
  перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose
- 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение,
  безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
2026-11-12 17:38:00 +03:00

45 lines
2.2 KiB
Python

import uuid
from sqlalchemy import select
from sqlalchemy.orm import Session
from models import Attachment, ChatMember
def object_key_for(attachment_id: uuid.UUID) -> str:
# Ключ назначает сервер: случайный UUID, без имени файла и без данных пользователя.
return f"originals/{attachment_id}"
def create_attachment(db: Session, attachment_id: uuid.UUID, chat_id: uuid.UUID, owner_id: uuid.UUID,
filename: str, content_type: str, size_bytes: int, sha256: str, object_key: str) -> Attachment:
attachment = Attachment(
id=attachment_id, chat_id=chat_id, owner_id=owner_id, filename=filename, content_type=content_type,
size_bytes=size_bytes, sha256=sha256, object_key=object_key,
)
db.add(attachment)
db.commit()
return attachment
def get_member_attachment(db: Session, attachment_id: uuid.UUID, user_id: uuid.UUID) -> Attachment | None:
"""Вложение, если пользователь — участник его чата. Чужое и несуществующее неразличимы (None -> 404)."""
query = (
select(Attachment)
.join(ChatMember, ChatMember.chat_id == Attachment.chat_id)
.where(Attachment.id == attachment_id, ChatMember.user_id == user_id)
)
return db.scalar(query)
def find_chat_attachments(db: Session, chat_id: uuid.UUID, attachment_ids: list[uuid.UUID]) -> list[Attachment]:
# Вложения других чатов сюда не попадают: для отправителя они «не найдены».
if not attachment_ids:
return []
# FOR KEY SHARE: пока сообщение со ссылкой не закоммичено, сверка хранилищ не может удалить эти строки
# (её DELETE ждёт, а потом откажет по FK); если сверка удалила раньше — вложение просто «не найдено».
query = (select(Attachment)
.where(Attachment.chat_id == chat_id, Attachment.id.in_(attachment_ids))
.with_for_update(key_share=True, read=True))
return list(db.scalars(query))