Files
mtusi2026lab4/app/database_functions/messages_functions.py
vest1ter 44ae7b2472 ЛР4 на 5: вложения в MinIO, отказоустойчивость, трек 2 (сверка S3 и PostgreSQL)
Уровень 3:
- код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose,
  идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой
- метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер
- upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности,
  безопасный filename; 201 только после PUT и COMMIT; download потоком через API
- attachment_ids в сообщениях (только файлы своего чата, FK в БД)
- 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness

Уровень 4:
- 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД
- компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти
- эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты;
  исправлены удержание соединения БД во время загрузки и таймаут отправки в S3

Уровень 5, трек 2:
- reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period,
  перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose
- 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение,
  безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
2026-11-12 17:38:00 +03:00

88 lines
4.4 KiB
Python

import uuid
from datetime import datetime, timedelta, timezone
from sqlalchemy import func, select, tuple_, update
from sqlalchemy.dialects.postgresql import insert
from sqlalchemy.orm import Session
from database_functions.attachments_functions import find_chat_attachments
from models import IdempotencyKey, Message, MessageAttachment
from utils.pagination import Position
class IdempotencyKeyReused(Exception):
"""Тот же Idempotency-Key уже использован с другим телом запроса."""
class AttachmentNotFound(Exception):
"""Вложения нет или оно из другого чата (для клиента это 404)."""
class AttachmentNotReady(Exception):
"""Вложение ещё не готово или с ошибкой обработки (409)."""
def create_message_once(db: Session, chat_id: uuid.UUID, sender_id: uuid.UUID, text: str,
attachment_ids: list[uuid.UUID],
key: str, request_hash: bytes, ttl_seconds: int) -> Message:
"""Создать сообщение ровно один раз для (пользователь, чат, ключ), в том числе при конкурентных повторах.
Всё в одной транзакции: «заявка» на ключ, сообщение и ссылка ключа на сообщение фиксируются вместе.
Если транзакция откатится (5xx, обрыв), ключ не сохранится и клиент безопасно повторит запрос.
Параллельный повтор через другую реплику блокируется на уникальном индексе до COMMIT первой
транзакции, затем видит её строку и возвращает то же сообщение.
"""
cutoff = datetime.now(timezone.utc) - timedelta(seconds=ttl_seconds)
claim = (
insert(IdempotencyKey)
.values(user_id=sender_id, chat_id=chat_id, key=key, request_hash=request_hash)
# Строка старше TTL считается свободной ключом: перехватываем её, остальные конфликты не меняем.
.on_conflict_do_update(
index_elements=[IdempotencyKey.user_id, IdempotencyKey.chat_id, IdempotencyKey.key],
set_={"request_hash": request_hash, "message_id": None, "created_at": func.clock_timestamp()},
where=IdempotencyKey.created_at < cutoff,
)
.returning(IdempotencyKey.key)
)
if db.execute(claim).first() is None:
existing = db.scalars(select(IdempotencyKey).where(
IdempotencyKey.user_id == sender_id, IdempotencyKey.chat_id == chat_id, IdempotencyKey.key == key,
)).one()
if existing.request_hash != request_hash:
raise IdempotencyKeyReused()
return db.get_one(Message, existing.message_id)
attachments = {a.id: a for a in find_chat_attachments(db, chat_id, attachment_ids)}
if len(attachments) != len(attachment_ids):
# Откат снимает и «заявку» на ключ: исправленный запрос с тем же ключом пройдёт.
db.rollback()
raise AttachmentNotFound()
if any(a.status != "ready" for a in attachments.values()):
db.rollback()
raise AttachmentNotReady()
message = Message(chat_id=chat_id, sender_id=sender_id, text=text, attachment_links=[
MessageAttachment(attachment_id=attachment_id, chat_id=chat_id, position=position)
for position, attachment_id in enumerate(attachment_ids)
])
db.add(message)
db.flush()
db.execute(update(IdempotencyKey).where(
IdempotencyKey.user_id == sender_id, IdempotencyKey.chat_id == chat_id, IdempotencyKey.key == key,
).values(message_id=message.id))
db.commit()
return message
def list_messages(db: Session, chat_id: uuid.UUID, limit: int, after: Position | None) -> list[Message]:
# Keyset-пагинация по индексу messages_chat_history_idx (chat_id, created_at, id).
query = (
select(Message)
.where(Message.chat_id == chat_id)
.order_by(Message.created_at, Message.id)
.limit(limit + 1)
)
if after is not None:
query = query.where(tuple_(Message.created_at, Message.id) > tuple_(*after))
return list(db.scalars(query))