Files
mtusi2026lab6/src/transform.py
T
zemiles c199f6632a ЛР 6 — БПИ2303 — Лазарев — на 4
Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3,
RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API.

Наблюдаемость:
- OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs
  по OTLP/HTTP; структурные JSON-логи с trace_id/span_id
- OTel Collector (memory_limiter, batch, ограниченные очереди и retry),
  Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы),
  Grafana с provisioning datasources и dashboard
- W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child,
  включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM
- SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks
- инциденты: остановка worker, блокировка БД, отказ telemetry backend;
  по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
2026-11-17 10:59:41 +03:00

129 lines
7.2 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Преобразование одного изображения в отдельном ПРОЦЕССЕ с жёсткими лимитами.
python transform.py <input> <output_dir> <content_type> <max_pixels>
-> stdout: JSON {"variants": [...]} ; код выхода — класс ошибки.
Worker запускает его через subprocess с таймаутом JOB_TIMEOUT_SECONDS (wall clock), а сам
процесс до импорта Pillow ограничивает себе адресное пространство (RLIMIT_AS) и CPU-время
(RLIMIT_CPU). «Бомба», которую не поймали проверки заголовка, убивает только этот процесс,
а не worker с его соединениями и арендами.
Коды выхода: 0 — успех; 3 — invalid_image; 4 — image_too_large; 5 — resource_limit
(MemoryError). Убит сигналом (SIGXCPU/SIGKILL) -> resource_limit; таймаут — решает worker.
Варианты (contracts/README.md, «Фоновая обработка»):
thumbnail — JPEG q=85, вписан в 256x256 с сохранением пропорций, без увеличения;
размеры считаются целочисленно с округлением вниз, минимум 1 px
(320x200 -> 256x160); EXIF orientation применяется; alpha -> на белый фон;
crop — JPEG q=85, центрированный квадрат 128x128 (маленькие исходники увеличиваются);
optimized — WebP q=80 method=4, вписан в 1280x1280 без увеличения; alpha сохраняется.
Во все варианты НЕ переносятся EXIF/XMP/ICC/комментарии. Одного «не передавать exif=» мало:
Pillow при save() берёт часть метаданных из im.info (так JPEG-комментарий доходил до
thumbnail и crop — аудит F07). Поэтому перед сохранением info очищается полностью, а тест
проверяет сырые байты результата (маркеры COM/APP1/APP2, чанки EXIF/XMP/ICCP).
Прозрачность: RGBA/LA/PA и ЛЮБОЙ режим с tRNS (P, RGB, L — аудит F06). Цвет считается sRGB.
"""
import json
import os
import resource
import sys
MEMORY_LIMIT_MB = int(os.environ.get("TRANSFORM_MEMORY_LIMIT_MB", "768"))
CPU_LIMIT_SECONDS = int(os.environ.get("TRANSFORM_CPU_SECONDS", "30"))
THUMB = 256
CROP = 128
OPTIMIZED = 1280
JPEG_QUALITY = 85
WEBP_QUALITY = 80
EXIT_INVALID, EXIT_TOO_LARGE, EXIT_RESOURCE = 3, 4, 5
def fit_within(w, h, box):
"""Вписать (w, h) в box x box без увеличения; целочисленно, вниз, минимум 1."""
if w <= box and h <= box:
return w, h
if w >= h:
return box, max(1, h * box // w)
return max(1, w * box // h), box
def fail(code, error, detail=""):
print(json.dumps({"error": error, "detail": detail[:200]}))
sys.stdout.flush()
os._exit(code)
def main():
src, out_dir, content_type, max_pixels = sys.argv[1], sys.argv[2], sys.argv[3], int(sys.argv[4])
limit = MEMORY_LIMIT_MB * 1024 * 1024
resource.setrlimit(resource.RLIMIT_AS, (limit, limit))
resource.setrlimit(resource.RLIMIT_CPU, (CPU_LIMIT_SECONDS, CPU_LIMIT_SECONDS + 1))
import warnings
from PIL import Image, ImageOps
# Больше max_pixels — ошибка, а не предупреждение (по умолчанию Pillow только warn до 2x).
Image.MAX_IMAGE_PIXELS = max_pixels
warnings.simplefilter("error", Image.DecompressionBombWarning)
fmt = {"image/png": "PNG", "image/jpeg": "JPEG"}.get(content_type)
if fmt is None:
fail(EXIT_INVALID, "invalid_image", "unsupported content type")
try:
im = Image.open(src, formats=(fmt,))
w0, h0 = im.size
if w0 * h0 > max_pixels:
fail(EXIT_TOO_LARGE, "image_too_large", "%dx%d" % (w0, h0))
orientation = im.getexif().get(0x0112, 1)
swap = orientation in (5, 6, 7, 8)
ow, oh = (h0, w0) if swap else (w0, h0) # размеры ПОСЛЕ применения EXIF orientation
if fmt == "JPEG":
# draft: декодер JPEG сразу уменьшает в 2/4/8 раз, но не меньше 1280 по обеим
# сторонам — памяти нужно в 4–64 раза меньше, качество вариантов не страдает.
im.draft("RGB", (OPTIMIZED, OPTIMIZED))
im.load()
if orientation in range(2, 9):
im = ImageOps.exif_transpose(im)
# tRNS бывает не только у палитры: у RGB и L это «прозрачный цвет» (аудит F06).
has_alpha = im.mode in ("RGBA", "LA", "PA") or "transparency" in im.info
work = im.convert("RGBA") if has_alpha else im.convert("RGB")
del im
# Промежуточная копия <= 1280: из неё делаются все варианты (экономия памяти и CPU).
mw, mh = fit_within(ow, oh, OPTIMIZED)
if work.size != (mw, mh):
work = work.resize((mw, mh), Image.LANCZOS, reducing_gap=3.0)
if has_alpha:
flat = Image.new("RGB", work.size, (255, 255, 255))
flat.paste(work, mask=work.getchannel("A"))
else:
flat = work
work.info = {} # без метаданных источника (EXIF, XMP, ICC, comment...)
flat.info = {}
variants = []
tw, th = fit_within(ow, oh, THUMB)
thumb = flat if flat.size == (tw, th) else flat.resize((tw, th), Image.LANCZOS)
path = os.path.join(out_dir, "thumbnail.jpg")
thumb.info = {}
thumb.save(path, "JPEG", quality=JPEG_QUALITY, optimize=True)
variants.append({"name": "thumbnail", "path": path, "content_type": "image/jpeg", "width": tw, "height": th})
crop = ImageOps.fit(flat, (CROP, CROP), method=Image.LANCZOS, centering=(0.5, 0.5))
crop.info = {}
path = os.path.join(out_dir, "crop.jpg")
crop.save(path, "JPEG", quality=JPEG_QUALITY, optimize=True)
variants.append({"name": "crop", "path": path, "content_type": "image/jpeg", "width": CROP, "height": CROP})
path = os.path.join(out_dir, "optimized.webp")
work.save(path, "WEBP", quality=WEBP_QUALITY, method=4)
variants.append({"name": "optimized", "path": path, "content_type": "image/webp", "width": mw, "height": mh})
except MemoryError:
fail(EXIT_RESOURCE, "resource_limit", "memory limit %d MiB" % MEMORY_LIMIT_MB)
except (Image.DecompressionBombError, Image.DecompressionBombWarning) as exc:
fail(EXIT_TOO_LARGE, "image_too_large", type(exc).__name__)
except Exception as exc:
# Битые/усечённые данные: OSError, SyntaxError, ValueError, struct.error...
fail(EXIT_INVALID, "invalid_image", type(exc).__name__)
print(json.dumps({"variants": variants, "source": [ow, oh]}))
return 0
if __name__ == "__main__":
sys.exit(main())