forked from mtusi2026/mtusi2026lab6
Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3, RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API. Наблюдаемость: - OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs по OTLP/HTTP; структурные JSON-логи с trace_id/span_id - OTel Collector (memory_limiter, batch, ограниченные очереди и retry), Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы), Grafana с provisioning datasources и dashboard - W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child, включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM - SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks - инциденты: остановка worker, блокировка БД, отказ telemetry backend; по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
129 lines
7.2 KiB
Python
129 lines
7.2 KiB
Python
#!/usr/bin/env python3
|
||
"""Преобразование одного изображения в отдельном ПРОЦЕССЕ с жёсткими лимитами.
|
||
|
||
python transform.py <input> <output_dir> <content_type> <max_pixels>
|
||
-> stdout: JSON {"variants": [...]} ; код выхода — класс ошибки.
|
||
|
||
Worker запускает его через subprocess с таймаутом JOB_TIMEOUT_SECONDS (wall clock), а сам
|
||
процесс до импорта Pillow ограничивает себе адресное пространство (RLIMIT_AS) и CPU-время
|
||
(RLIMIT_CPU). «Бомба», которую не поймали проверки заголовка, убивает только этот процесс,
|
||
а не worker с его соединениями и арендами.
|
||
|
||
Коды выхода: 0 — успех; 3 — invalid_image; 4 — image_too_large; 5 — resource_limit
|
||
(MemoryError). Убит сигналом (SIGXCPU/SIGKILL) -> resource_limit; таймаут — решает worker.
|
||
|
||
Варианты (contracts/README.md, «Фоновая обработка»):
|
||
thumbnail — JPEG q=85, вписан в 256x256 с сохранением пропорций, без увеличения;
|
||
размеры считаются целочисленно с округлением вниз, минимум 1 px
|
||
(320x200 -> 256x160); EXIF orientation применяется; alpha -> на белый фон;
|
||
crop — JPEG q=85, центрированный квадрат 128x128 (маленькие исходники увеличиваются);
|
||
optimized — WebP q=80 method=4, вписан в 1280x1280 без увеличения; alpha сохраняется.
|
||
Во все варианты НЕ переносятся EXIF/XMP/ICC/комментарии. Одного «не передавать exif=» мало:
|
||
Pillow при save() берёт часть метаданных из im.info (так JPEG-комментарий доходил до
|
||
thumbnail и crop — аудит F07). Поэтому перед сохранением info очищается полностью, а тест
|
||
проверяет сырые байты результата (маркеры COM/APP1/APP2, чанки EXIF/XMP/ICCP).
|
||
Прозрачность: RGBA/LA/PA и ЛЮБОЙ режим с tRNS (P, RGB, L — аудит F06). Цвет считается sRGB.
|
||
"""
|
||
import json
|
||
import os
|
||
import resource
|
||
import sys
|
||
|
||
MEMORY_LIMIT_MB = int(os.environ.get("TRANSFORM_MEMORY_LIMIT_MB", "768"))
|
||
CPU_LIMIT_SECONDS = int(os.environ.get("TRANSFORM_CPU_SECONDS", "30"))
|
||
THUMB = 256
|
||
CROP = 128
|
||
OPTIMIZED = 1280
|
||
JPEG_QUALITY = 85
|
||
WEBP_QUALITY = 80
|
||
EXIT_INVALID, EXIT_TOO_LARGE, EXIT_RESOURCE = 3, 4, 5
|
||
|
||
|
||
def fit_within(w, h, box):
|
||
"""Вписать (w, h) в box x box без увеличения; целочисленно, вниз, минимум 1."""
|
||
if w <= box and h <= box:
|
||
return w, h
|
||
if w >= h:
|
||
return box, max(1, h * box // w)
|
||
return max(1, w * box // h), box
|
||
|
||
|
||
def fail(code, error, detail=""):
|
||
print(json.dumps({"error": error, "detail": detail[:200]}))
|
||
sys.stdout.flush()
|
||
os._exit(code)
|
||
|
||
|
||
def main():
|
||
src, out_dir, content_type, max_pixels = sys.argv[1], sys.argv[2], sys.argv[3], int(sys.argv[4])
|
||
limit = MEMORY_LIMIT_MB * 1024 * 1024
|
||
resource.setrlimit(resource.RLIMIT_AS, (limit, limit))
|
||
resource.setrlimit(resource.RLIMIT_CPU, (CPU_LIMIT_SECONDS, CPU_LIMIT_SECONDS + 1))
|
||
|
||
import warnings
|
||
from PIL import Image, ImageOps
|
||
# Больше max_pixels — ошибка, а не предупреждение (по умолчанию Pillow только warn до 2x).
|
||
Image.MAX_IMAGE_PIXELS = max_pixels
|
||
warnings.simplefilter("error", Image.DecompressionBombWarning)
|
||
fmt = {"image/png": "PNG", "image/jpeg": "JPEG"}.get(content_type)
|
||
if fmt is None:
|
||
fail(EXIT_INVALID, "invalid_image", "unsupported content type")
|
||
try:
|
||
im = Image.open(src, formats=(fmt,))
|
||
w0, h0 = im.size
|
||
if w0 * h0 > max_pixels:
|
||
fail(EXIT_TOO_LARGE, "image_too_large", "%dx%d" % (w0, h0))
|
||
orientation = im.getexif().get(0x0112, 1)
|
||
swap = orientation in (5, 6, 7, 8)
|
||
ow, oh = (h0, w0) if swap else (w0, h0) # размеры ПОСЛЕ применения EXIF orientation
|
||
if fmt == "JPEG":
|
||
# draft: декодер JPEG сразу уменьшает в 2/4/8 раз, но не меньше 1280 по обеим
|
||
# сторонам — памяти нужно в 4–64 раза меньше, качество вариантов не страдает.
|
||
im.draft("RGB", (OPTIMIZED, OPTIMIZED))
|
||
im.load()
|
||
if orientation in range(2, 9):
|
||
im = ImageOps.exif_transpose(im)
|
||
# tRNS бывает не только у палитры: у RGB и L это «прозрачный цвет» (аудит F06).
|
||
has_alpha = im.mode in ("RGBA", "LA", "PA") or "transparency" in im.info
|
||
work = im.convert("RGBA") if has_alpha else im.convert("RGB")
|
||
del im
|
||
# Промежуточная копия <= 1280: из неё делаются все варианты (экономия памяти и CPU).
|
||
mw, mh = fit_within(ow, oh, OPTIMIZED)
|
||
if work.size != (mw, mh):
|
||
work = work.resize((mw, mh), Image.LANCZOS, reducing_gap=3.0)
|
||
if has_alpha:
|
||
flat = Image.new("RGB", work.size, (255, 255, 255))
|
||
flat.paste(work, mask=work.getchannel("A"))
|
||
else:
|
||
flat = work
|
||
work.info = {} # без метаданных источника (EXIF, XMP, ICC, comment...)
|
||
flat.info = {}
|
||
variants = []
|
||
tw, th = fit_within(ow, oh, THUMB)
|
||
thumb = flat if flat.size == (tw, th) else flat.resize((tw, th), Image.LANCZOS)
|
||
path = os.path.join(out_dir, "thumbnail.jpg")
|
||
thumb.info = {}
|
||
thumb.save(path, "JPEG", quality=JPEG_QUALITY, optimize=True)
|
||
variants.append({"name": "thumbnail", "path": path, "content_type": "image/jpeg", "width": tw, "height": th})
|
||
crop = ImageOps.fit(flat, (CROP, CROP), method=Image.LANCZOS, centering=(0.5, 0.5))
|
||
crop.info = {}
|
||
path = os.path.join(out_dir, "crop.jpg")
|
||
crop.save(path, "JPEG", quality=JPEG_QUALITY, optimize=True)
|
||
variants.append({"name": "crop", "path": path, "content_type": "image/jpeg", "width": CROP, "height": CROP})
|
||
path = os.path.join(out_dir, "optimized.webp")
|
||
work.save(path, "WEBP", quality=WEBP_QUALITY, method=4)
|
||
variants.append({"name": "optimized", "path": path, "content_type": "image/webp", "width": mw, "height": mh})
|
||
except MemoryError:
|
||
fail(EXIT_RESOURCE, "resource_limit", "memory limit %d MiB" % MEMORY_LIMIT_MB)
|
||
except (Image.DecompressionBombError, Image.DecompressionBombWarning) as exc:
|
||
fail(EXIT_TOO_LARGE, "image_too_large", type(exc).__name__)
|
||
except Exception as exc:
|
||
# Битые/усечённые данные: OSError, SyntaxError, ValueError, struct.error...
|
||
fail(EXIT_INVALID, "invalid_image", type(exc).__name__)
|
||
print(json.dumps({"variants": variants, "source": [ow, oh]}))
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|