Files
mtusi2026lab5/evidence/codec-40mp.md
T

5.4 KiB
Raw Blame History

Обработка файлов на границе 40 млн пикселей

18 ноября 2026 г. Рабочее дерево на базе 276dbdad8a34. Цель проверки — получить три читаемых варианта каждого допустимого исходника в пределах бюджета worker.

Воспроизведение

Для генерации исходников использован Python с Pillow 11.1.0. Генератор записывает изображения и манифест с SHA-256 в игнорируемый каталог bin/decoder-fixtures.

python -X utf8 -B scripts/lab4/generate-decoder-fixtures.py --output-dir bin/decoder-fixtures
make codec-test CODEC_STRESS=1

Go 1.27.1, Docker Engine 28.5.1, Linux x86-64 в Docker Desktop, Intel Core i5-1240P. Контейнер теста использовал образ worker на Alpine 3.23 с ImageMagick 7.1.2-35 Q16-HDRI, 2 CPU и 2 GiB RAM, UID 10001. Запускался один тестовый процесс, без сети. Каждый файл обработан один раз, последовательно, без отдельного прогрева. Профиль v1 использует JPEG quality 85 и WebP quality 80.

Исходник Байт на входе Thumbnail, px / байт Crop, px / байт Optimized, px / байт Время теста, с
Progressive RGB JPEG, 4:4:4, 8000×5000 469711 256×160 / 767 128×128 / 479 1280×800 / 1906 17,49
Progressive CMYK JPEG, 4:4:4, 8000×5000 939079 256×160 / 526 128×128 / 382 1280×800 / 1900 24,15
RGBA64 PNG, 40 000 000×1 1397354 256×1 / 169 128×128 / 225 1280×1 / 134 1,46

Во всех трёх случаях тест декодировал оба выходных JPEG и WebP и сравнил фактические размеры с метаданными. Время включает чтение файла, обработку и проверочное декодирование внутри контейнера. HTTP, брокер и S3 в этом измерении не участвовали. Суммарный результат группы — PASS за 43,10 с.

19 ноября на рабочем дереве после исправления координат crop и очистки временных файлов повторили тот же набор в Linux-контейнере с 2 CPU и 2 GiB. Все три теста прошли. Progressive RGB JPEG занял 9,78 с, progressive CMYK JPEG — 16,21 с, широкий RGBA64 PNG — 2,86 с. Измерения выполнены по одному разу на файл.

Два свойства дополнительно проверили через публичный API. Для сплошного красного PNG с растром 320×200 и виртуальным холстом 2400×1800+850+30 в скачанном JPEG 128×128 получили RGB (254, 0, 0) в трёх точках по горизонтали. До исправления в центре был RGB (255, 255, 255). При обработке 40-мегапиксельного CMYK JPEG отправили SIGKILL процессу worker. В остановленном контейнере остался каталог попытки, в момент остановки измерили 82 680 KiB. После запуска того же контейнера этот каталог исчез. При штатном бюджете 60 с то же вложение перешло в ready на попытке 2 с тремя вариантами. После завершения в рабочем каталоге осталось 0 записей. В контрольном опыте до исправления 72 532 KiB пережили перезапуск.

При отдельном запуске с укороченным бюджетом задания 30 с и параллельной нагрузкой рабочий каталог также очищался. На этом профиле CMYK-файл исчерпал пять попыток с deadline_exceeded. Для демонстрации восстановления предельного файла использовался штатный бюджет 60 с.

В предварительном опыте обычный процесс ImageMagick получил SIGKILL на широкой PNG-строке при лимите контейнера 2 GiB. Теперь у PNG с осью длиннее 65 535 px отдельный процесс Go усредняет области для превью и берёт центральный квадрат из полного исходника. Такая работа занимает оба слота декодера до выпуска результатов. На JPEG действует лимит одного потока ImageMagick на задание, 96 MiB для пиксельного кэша, отключённый mmap и до 2 GiB дискового кэша. Общий дедлайн преобразования — 45 секунд. Измерение подтверждает прохождение перечисленных файлов под лимитом контейнера. Пиковый RSS в этом запуске не измерялся.