feat: process attachments asynchronously with RabbitMQ and a worker

Upload answers 202 after staging, a queued job in PostgreSQL and a broker
confirm; a separate worker publishes the original and a thumbnail with
bounded retries. Adds the job and variant tables, the broker service, the
worker S3 user, cleanup and reconcile support for staging and variants,
the failure stand with broker and worker, bench and driver updates.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-31 06:48:20 +03:00
co-authored by Claude Opus 5.5
parent 40c709a78b
commit ff1a83b6ff
107 changed files with 9765 additions and 993 deletions
+15
View File
@@ -79,6 +79,21 @@ OBJECT_KEY_MAX_BYTES = 1024
# ключ объекта: `<имя базы>/attachments/<id>/original`
ATTACHMENT_KEY_PREFIX = "attachments"
ATTACHMENT_ORIGINAL_SUFFIX = "original"
# обработка вложения (с лабы 5, design change `async-attachments`):
# объект до обработки — `<имя базы>/staging/<id>/original`, вариант —
# `<имя базы>/attachments/<id>/v<версия>-<вариант>`
ATTACHMENT_STAGING_PREFIX = "staging"
# версия обработки; курс использует одну (contracts/attachment-states.md)
ATTACHMENT_PIPELINE_VERSION = 1
# поля type и schema_version сообщения contracts/jobs.schema.json
ATTACHMENT_JOB_TYPE = "attachment.process.v1"
ATTACHMENT_JOB_SCHEMA_VERSION = 1
# очередь заданий — `<имя базы>.attachment.process.v1`: прогон на временной
# базе не смешивается с рабочим, как объекты S3 и ключи кэша
ATTACHMENT_QUEUE_SUFFIX = "attachment.process.v1"
# thumbnail контракта: вписан в квадрат, JPEG
THUMBNAIL_MAX_SIDE = 256
THUMBNAIL_JPEG_QUALITY = 85
# сверка bucket и БД: сколько расхождений за проход пишется отдельными
# записями журнала; остальные — только числом в итоге (design change
# `track2-reconciler`, решение 8)
+153
View File
@@ -0,0 +1,153 @@
"""Thumbnail контракта: JPEG, вписан в 256 × 256, без увеличения.
Чистая функция (design change `async-attachments`, решение 8). Импортирует
Pillow, поэтому импортирует модуль только сервис обработки: реплики API
декодер в память не загружают. Вызывается в потоке, результат при том же
входе и версии Pillow детерминирован: повтор пишет те же байты.
"""
import hashlib
import io
from dataclasses import dataclass
from PIL import Image, UnidentifiedImageError
from src.utils.constants import (
ATTACHMENT_MAX_PIXELS,
THUMBNAIL_JPEG_QUALITY,
THUMBNAIL_MAX_SIDE,
)
# тег EXIF Orientation
_EXIF_ORIENTATION = 0x0112
# транспонирование на малом изображении: на полном размере поворот удвоил бы
# пик памяти (два буфера пикселей разом)
_TRANSPOSE = {
2: Image.Transpose.FLIP_LEFT_RIGHT,
3: Image.Transpose.ROTATE_180,
4: Image.Transpose.FLIP_TOP_BOTTOM,
5: Image.Transpose.TRANSPOSE,
6: Image.Transpose.ROTATE_270,
7: Image.Transpose.TRANSVERSE,
8: Image.Transpose.ROTATE_90,
}
# при этих значениях показанное изображение повёрнуто на 90°
_SWAPS_SIDES = frozenset({5, 6, 7, 8})
_HIGH_DEPTH_MODES = frozenset({"I;16", "I;16B", "I;16L", "I"})
_ALPHA_MODES = frozenset({"RGBA", "LA", "PA"})
_WHITE = (255, 255, 255, 255)
_FORMATS = ("PNG", "JPEG")
class InvalidImage(Exception):
"""Изображение не декодируется: постоянная ошибка обработки."""
@dataclass(frozen=True, slots=True)
class RenderedVariant:
"""Готовый вариант: байты, настоящие размеры и SHA-256."""
data: bytes
width: int
height: int
sha256: bytes
def thumbnail_size(width: int, height: int) -> tuple[int, int]:
"""Размер показанного изображения: большая сторона — 256, меньшая
округляется вниз, не меньше 1; вписанное не увеличивается.
Не `Image.thumbnail`: он округляет к ближайшей пропорции (1000 × 601 →
256 × 154), а контракт — вниз (153).
"""
if width <= THUMBNAIL_MAX_SIDE and height <= THUMBNAIL_MAX_SIDE:
return width, height
if width >= height:
return (
THUMBNAIL_MAX_SIDE,
max(1, height * THUMBNAIL_MAX_SIDE // width),
)
return (
max(1, width * THUMBNAIL_MAX_SIDE // height),
THUMBNAIL_MAX_SIDE,
)
def _prepared(image: Image.Image) -> Image.Image:
"""Режим, в котором масштабирование считает среднее, а не ближайшего
соседа: 16 бит → 8, с альфой → RGBA, 1 бит → L, палитра и CMYK → RGB."""
if image.mode in _HIGH_DEPTH_MODES:
scaled = image.convert("I").point(lambda value: value / 256)
return scaled.convert("L")
if image.mode == "RGBA":
# convert в тот же режим — копия всех пикселей: пик памяти 40 Мпкс
# вырос бы с ~320 до ~480 МиБ
return image
if image.mode in _ALPHA_MODES or "transparency" in image.info:
return image.convert("RGBA")
if image.mode == "1":
return image.convert("L")
if image.mode in ("P", "CMYK"):
return image.convert("RGB")
return image
def _flattened(image: Image.Image) -> Image.Image:
"""Альфа на белый, результат — режим, который принимает JPEG."""
if image.mode == "RGBA":
background = Image.new("RGBA", image.size, _WHITE)
return Image.alpha_composite(background, image).convert("RGB")
return image
def render_thumbnail(data: bytes) -> RenderedVariant:
"""Thumbnail из байтов PNG или JPEG; не декодируется — `InvalidImage`."""
try:
return _render(data)
except (
UnidentifiedImageError,
OSError,
ValueError,
SyntaxError,
Image.DecompressionBombError,
) as e:
raise InvalidImage from e
def _render(data: bytes) -> RenderedVariant:
# предел пикселей контракта проверяет этот код: запас Pillow не нужен
with Image.open(io.BytesIO(data), formats=_FORMATS) as image:
if image.width * image.height > ATTACHMENT_MAX_PIXELS:
raise InvalidImage
orientation = image.getexif().get(_EXIF_ORIENTATION, 1)
swaps = orientation in _SWAPS_SIDES
shown = (
(image.height, image.width)
if swaps
else (image.width, image.height)
)
target = thumbnail_size(*shown)
stored = (target[1], target[0]) if swaps else target
if image.format == "JPEG":
# масштаб DCT: пик памяти на порядок меньше. Для CMYK режим не
# меняет, только размер декодирования
image.draft("RGB", stored)
prepared = _prepared(image)
small = prepared.resize(
stored,
Image.Resampling.LANCZOS,
reducing_gap=2.0,
)
# is not None: значение FLIP_LEFT_RIGHT — 0
if (transpose := _TRANSPOSE.get(orientation)) is not None:
small = small.transpose(transpose)
flat = _flattened(small).convert("RGB")
output = io.BytesIO()
flat.save(output, format="JPEG", quality=THUMBNAIL_JPEG_QUALITY)
result = output.getvalue()
return RenderedVariant(
data=result,
width=flat.width,
height=flat.height,
sha256=hashlib.sha256(result).digest(),
)