feat: process attachments asynchronously with RabbitMQ and a worker
Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -79,6 +79,21 @@ OBJECT_KEY_MAX_BYTES = 1024
|
||||
# ключ объекта: `<имя базы>/attachments/<id>/original`
|
||||
ATTACHMENT_KEY_PREFIX = "attachments"
|
||||
ATTACHMENT_ORIGINAL_SUFFIX = "original"
|
||||
# обработка вложения (с лабы 5, design change `async-attachments`):
|
||||
# объект до обработки — `<имя базы>/staging/<id>/original`, вариант —
|
||||
# `<имя базы>/attachments/<id>/v<версия>-<вариант>`
|
||||
ATTACHMENT_STAGING_PREFIX = "staging"
|
||||
# версия обработки; курс использует одну (contracts/attachment-states.md)
|
||||
ATTACHMENT_PIPELINE_VERSION = 1
|
||||
# поля type и schema_version сообщения contracts/jobs.schema.json
|
||||
ATTACHMENT_JOB_TYPE = "attachment.process.v1"
|
||||
ATTACHMENT_JOB_SCHEMA_VERSION = 1
|
||||
# очередь заданий — `<имя базы>.attachment.process.v1`: прогон на временной
|
||||
# базе не смешивается с рабочим, как объекты S3 и ключи кэша
|
||||
ATTACHMENT_QUEUE_SUFFIX = "attachment.process.v1"
|
||||
# thumbnail контракта: вписан в квадрат, JPEG
|
||||
THUMBNAIL_MAX_SIDE = 256
|
||||
THUMBNAIL_JPEG_QUALITY = 85
|
||||
# сверка bucket и БД: сколько расхождений за проход пишется отдельными
|
||||
# записями журнала; остальные — только числом в итоге (design change
|
||||
# `track2-reconciler`, решение 8)
|
||||
|
||||
@@ -0,0 +1,153 @@
|
||||
"""Thumbnail контракта: JPEG, вписан в 256 × 256, без увеличения.
|
||||
|
||||
Чистая функция (design change `async-attachments`, решение 8). Импортирует
|
||||
Pillow, поэтому импортирует модуль только сервис обработки: реплики API
|
||||
декодер в память не загружают. Вызывается в потоке, результат при том же
|
||||
входе и версии Pillow детерминирован: повтор пишет те же байты.
|
||||
"""
|
||||
|
||||
import hashlib
|
||||
import io
|
||||
from dataclasses import dataclass
|
||||
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
|
||||
from src.utils.constants import (
|
||||
ATTACHMENT_MAX_PIXELS,
|
||||
THUMBNAIL_JPEG_QUALITY,
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
)
|
||||
|
||||
# тег EXIF Orientation
|
||||
_EXIF_ORIENTATION = 0x0112
|
||||
# транспонирование на малом изображении: на полном размере поворот удвоил бы
|
||||
# пик памяти (два буфера пикселей разом)
|
||||
_TRANSPOSE = {
|
||||
2: Image.Transpose.FLIP_LEFT_RIGHT,
|
||||
3: Image.Transpose.ROTATE_180,
|
||||
4: Image.Transpose.FLIP_TOP_BOTTOM,
|
||||
5: Image.Transpose.TRANSPOSE,
|
||||
6: Image.Transpose.ROTATE_270,
|
||||
7: Image.Transpose.TRANSVERSE,
|
||||
8: Image.Transpose.ROTATE_90,
|
||||
}
|
||||
# при этих значениях показанное изображение повёрнуто на 90°
|
||||
_SWAPS_SIDES = frozenset({5, 6, 7, 8})
|
||||
_HIGH_DEPTH_MODES = frozenset({"I;16", "I;16B", "I;16L", "I"})
|
||||
_ALPHA_MODES = frozenset({"RGBA", "LA", "PA"})
|
||||
_WHITE = (255, 255, 255, 255)
|
||||
_FORMATS = ("PNG", "JPEG")
|
||||
|
||||
|
||||
class InvalidImage(Exception):
|
||||
"""Изображение не декодируется: постоянная ошибка обработки."""
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class RenderedVariant:
|
||||
"""Готовый вариант: байты, настоящие размеры и SHA-256."""
|
||||
|
||||
data: bytes
|
||||
width: int
|
||||
height: int
|
||||
sha256: bytes
|
||||
|
||||
|
||||
def thumbnail_size(width: int, height: int) -> tuple[int, int]:
|
||||
"""Размер показанного изображения: большая сторона — 256, меньшая
|
||||
округляется вниз, не меньше 1; вписанное не увеличивается.
|
||||
|
||||
Не `Image.thumbnail`: он округляет к ближайшей пропорции (1000 × 601 →
|
||||
256 × 154), а контракт — вниз (153).
|
||||
"""
|
||||
if width <= THUMBNAIL_MAX_SIDE and height <= THUMBNAIL_MAX_SIDE:
|
||||
return width, height
|
||||
if width >= height:
|
||||
return (
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
max(1, height * THUMBNAIL_MAX_SIDE // width),
|
||||
)
|
||||
return (
|
||||
max(1, width * THUMBNAIL_MAX_SIDE // height),
|
||||
THUMBNAIL_MAX_SIDE,
|
||||
)
|
||||
|
||||
|
||||
def _prepared(image: Image.Image) -> Image.Image:
|
||||
"""Режим, в котором масштабирование считает среднее, а не ближайшего
|
||||
соседа: 16 бит → 8, с альфой → RGBA, 1 бит → L, палитра и CMYK → RGB."""
|
||||
if image.mode in _HIGH_DEPTH_MODES:
|
||||
scaled = image.convert("I").point(lambda value: value / 256)
|
||||
return scaled.convert("L")
|
||||
if image.mode == "RGBA":
|
||||
# convert в тот же режим — копия всех пикселей: пик памяти 40 Мпкс
|
||||
# вырос бы с ~320 до ~480 МиБ
|
||||
return image
|
||||
if image.mode in _ALPHA_MODES or "transparency" in image.info:
|
||||
return image.convert("RGBA")
|
||||
if image.mode == "1":
|
||||
return image.convert("L")
|
||||
if image.mode in ("P", "CMYK"):
|
||||
return image.convert("RGB")
|
||||
return image
|
||||
|
||||
|
||||
def _flattened(image: Image.Image) -> Image.Image:
|
||||
"""Альфа на белый, результат — режим, который принимает JPEG."""
|
||||
if image.mode == "RGBA":
|
||||
background = Image.new("RGBA", image.size, _WHITE)
|
||||
return Image.alpha_composite(background, image).convert("RGB")
|
||||
return image
|
||||
|
||||
|
||||
def render_thumbnail(data: bytes) -> RenderedVariant:
|
||||
"""Thumbnail из байтов PNG или JPEG; не декодируется — `InvalidImage`."""
|
||||
try:
|
||||
return _render(data)
|
||||
except (
|
||||
UnidentifiedImageError,
|
||||
OSError,
|
||||
ValueError,
|
||||
SyntaxError,
|
||||
Image.DecompressionBombError,
|
||||
) as e:
|
||||
raise InvalidImage from e
|
||||
|
||||
|
||||
def _render(data: bytes) -> RenderedVariant:
|
||||
# предел пикселей контракта проверяет этот код: запас Pillow не нужен
|
||||
with Image.open(io.BytesIO(data), formats=_FORMATS) as image:
|
||||
if image.width * image.height > ATTACHMENT_MAX_PIXELS:
|
||||
raise InvalidImage
|
||||
orientation = image.getexif().get(_EXIF_ORIENTATION, 1)
|
||||
swaps = orientation in _SWAPS_SIDES
|
||||
shown = (
|
||||
(image.height, image.width)
|
||||
if swaps
|
||||
else (image.width, image.height)
|
||||
)
|
||||
target = thumbnail_size(*shown)
|
||||
stored = (target[1], target[0]) if swaps else target
|
||||
if image.format == "JPEG":
|
||||
# масштаб DCT: пик памяти на порядок меньше. Для CMYK режим не
|
||||
# меняет, только размер декодирования
|
||||
image.draft("RGB", stored)
|
||||
prepared = _prepared(image)
|
||||
small = prepared.resize(
|
||||
stored,
|
||||
Image.Resampling.LANCZOS,
|
||||
reducing_gap=2.0,
|
||||
)
|
||||
# is not None: значение FLIP_LEFT_RIGHT — 0
|
||||
if (transpose := _TRANSPOSE.get(orientation)) is not None:
|
||||
small = small.transpose(transpose)
|
||||
flat = _flattened(small).convert("RGB")
|
||||
output = io.BytesIO()
|
||||
flat.save(output, format="JPEG", quality=THUMBNAIL_JPEG_QUALITY)
|
||||
result = output.getvalue()
|
||||
return RenderedVariant(
|
||||
data=result,
|
||||
width=flat.width,
|
||||
height=flat.height,
|
||||
sha256=hashlib.sha256(result).digest(),
|
||||
)
|
||||
Reference in New Issue
Block a user