forked from mtusi2026/mtusi2026lab4
Уровень 3: - код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose, идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой - метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер - upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности, безопасный filename; 201 только после PUT и COMMIT; download потоком через API - attachment_ids в сообщениях (только файлы своего чата, FK в БД) - 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness Уровень 4: - 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД - компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти - эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты; исправлены удержание соединения БД во время загрузки и таймаут отправки в S3 Уровень 5, трек 2: - reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period, перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose - 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение, безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
88 lines
4.4 KiB
Python
88 lines
4.4 KiB
Python
import uuid
|
|
from datetime import datetime, timedelta, timezone
|
|
|
|
from sqlalchemy import func, select, tuple_, update
|
|
from sqlalchemy.dialects.postgresql import insert
|
|
from sqlalchemy.orm import Session
|
|
|
|
from database_functions.attachments_functions import find_chat_attachments
|
|
from models import IdempotencyKey, Message, MessageAttachment
|
|
from utils.pagination import Position
|
|
|
|
|
|
class IdempotencyKeyReused(Exception):
|
|
"""Тот же Idempotency-Key уже использован с другим телом запроса."""
|
|
|
|
|
|
class AttachmentNotFound(Exception):
|
|
"""Вложения нет или оно из другого чата (для клиента это 404)."""
|
|
|
|
|
|
class AttachmentNotReady(Exception):
|
|
"""Вложение ещё не готово или с ошибкой обработки (409)."""
|
|
|
|
|
|
def create_message_once(db: Session, chat_id: uuid.UUID, sender_id: uuid.UUID, text: str,
|
|
attachment_ids: list[uuid.UUID],
|
|
key: str, request_hash: bytes, ttl_seconds: int) -> Message:
|
|
"""Создать сообщение ровно один раз для (пользователь, чат, ключ), в том числе при конкурентных повторах.
|
|
|
|
Всё в одной транзакции: «заявка» на ключ, сообщение и ссылка ключа на сообщение фиксируются вместе.
|
|
Если транзакция откатится (5xx, обрыв), ключ не сохранится и клиент безопасно повторит запрос.
|
|
Параллельный повтор через другую реплику блокируется на уникальном индексе до COMMIT первой
|
|
транзакции, затем видит её строку и возвращает то же сообщение.
|
|
"""
|
|
cutoff = datetime.now(timezone.utc) - timedelta(seconds=ttl_seconds)
|
|
claim = (
|
|
insert(IdempotencyKey)
|
|
.values(user_id=sender_id, chat_id=chat_id, key=key, request_hash=request_hash)
|
|
# Строка старше TTL считается свободной ключом: перехватываем её, остальные конфликты не меняем.
|
|
.on_conflict_do_update(
|
|
index_elements=[IdempotencyKey.user_id, IdempotencyKey.chat_id, IdempotencyKey.key],
|
|
set_={"request_hash": request_hash, "message_id": None, "created_at": func.clock_timestamp()},
|
|
where=IdempotencyKey.created_at < cutoff,
|
|
)
|
|
.returning(IdempotencyKey.key)
|
|
)
|
|
if db.execute(claim).first() is None:
|
|
existing = db.scalars(select(IdempotencyKey).where(
|
|
IdempotencyKey.user_id == sender_id, IdempotencyKey.chat_id == chat_id, IdempotencyKey.key == key,
|
|
)).one()
|
|
if existing.request_hash != request_hash:
|
|
raise IdempotencyKeyReused()
|
|
return db.get_one(Message, existing.message_id)
|
|
|
|
attachments = {a.id: a for a in find_chat_attachments(db, chat_id, attachment_ids)}
|
|
if len(attachments) != len(attachment_ids):
|
|
# Откат снимает и «заявку» на ключ: исправленный запрос с тем же ключом пройдёт.
|
|
db.rollback()
|
|
raise AttachmentNotFound()
|
|
if any(a.status != "ready" for a in attachments.values()):
|
|
db.rollback()
|
|
raise AttachmentNotReady()
|
|
|
|
message = Message(chat_id=chat_id, sender_id=sender_id, text=text, attachment_links=[
|
|
MessageAttachment(attachment_id=attachment_id, chat_id=chat_id, position=position)
|
|
for position, attachment_id in enumerate(attachment_ids)
|
|
])
|
|
db.add(message)
|
|
db.flush()
|
|
db.execute(update(IdempotencyKey).where(
|
|
IdempotencyKey.user_id == sender_id, IdempotencyKey.chat_id == chat_id, IdempotencyKey.key == key,
|
|
).values(message_id=message.id))
|
|
db.commit()
|
|
return message
|
|
|
|
|
|
def list_messages(db: Session, chat_id: uuid.UUID, limit: int, after: Position | None) -> list[Message]:
|
|
# Keyset-пагинация по индексу messages_chat_history_idx (chat_id, created_at, id).
|
|
query = (
|
|
select(Message)
|
|
.where(Message.chat_id == chat_id)
|
|
.order_by(Message.created_at, Message.id)
|
|
.limit(limit + 1)
|
|
)
|
|
if after is not None:
|
|
query = query.where(tuple_(Message.created_at, Message.id) > tuple_(*after))
|
|
return list(db.scalars(query))
|