Lab5, трек 1: очередь под перегрузкой

Сгенерировано 2026-11-20T16:02:07.856909+00:00. Стенд: http://172.18.0.1:8080, 4 CPU, Docker 5.6.1.

Гипотеза. Стоимость задания складывается из decode, масштабирования и сжатия. exactly_right (1280×1280) не масштабирует optimized-вариант, поэтому показывает нижнюю границу стоимости сжатия; huge_few добавляет downscale, а small_many почти не масштабируется, но и пикселей в нём мало. Большие изображения при том же числе worker-ов увеличивают очередь, p95 time-to-ready и RSS. Одновременно проверяем компромисс: eager уменьшает ожидание, но повышает память; serial экономит память, но ограничивает throughput.

Профили и сценарии

ПрофильConcurrencyPrefetchСмысл
serial11one job at a time; minimum memory, maximum queueing
balanced44moderate in-process parallelism and broker window
eager832wide broker window; highest memory, lowest latency

Сценарии: small_many — 192×128, 30 jobs, many small images; almost no scaling; exactly_right — 1280×1280, 18 jobs, largest variant encodes at native 1280, so no scaling on the WebP path; huge_few — 2400×1800, 12 jobs, few 4.32 MP images; optimized variant must scale down to 1280.

Ключевые числа

9
прогонов матрицы
950 MiB
максимальный RSS worker
7.7 s
восстановление после backpressure
Throughput: готовые задания в секунду Чем выше, тем быстрее pipeline обрабатывает очередь. 0 jobs/s 5 jobs/s 9 jobs/s 14 jobs/s 18 jobs/s 6.84 jobs/s 13.69 jobs/s 15.58 jobs/s small_many 0.47 jobs/s 0.49 jobs/s 0.49 jobs/s exactly_right 0.44 jobs/s 0.44 jobs/s 0.44 jobs/s huge_few serial balanced eager higher is better
p95 time-to-ready: от 202 до ready 95% заданий стали ready быстрее этого времени (меньше — лучше). 0 ms 10560 ms 21120 ms 31680 ms 42240 ms 3338 ms 1274 ms 1166 ms small_many 35714 ms 35764 ms 35797 ms exactly_right 25896 ms 26576 ms 26641 ms huge_few serial balanced eager lower is better
p95 queue lag: ожидание до старта обработки Время между durable 202 и первым claim worker-а (меньше — лучше). 0 ms 9909 ms 19819 ms 29728 ms 39637 ms 3256 ms 1147 ms 924 ms small_many 33591 ms 31510 ms 31735 ms exactly_right 23668 ms 18161 ms 17648 ms huge_few serial balanced eager lower is better
Пиковый RSS worker VmRSS процесса worker во время задания (меньше — экономнее). 0 MiB 280 MiB 560 MiB 840 MiB 1121 MiB 28 MiB 29 MiB 32 MiB small_many 174 MiB 434 MiB 818 MiB exactly_right 213 MiB 756 MiB 950 MiB huge_few serial balanced eager lower is better
Compression overhead: доля encode в pipeline CPU encode / (decode + scale + encode), % (меньше — дешевле сжатие). 0 % 25 % 49 % 74 % 99 % 83.8 % 83.8 % 79.9 % small_many 82.0 % 83.1 % 83.1 % exactly_right 63.8 % 61.4 % 61.4 % huge_few serial balanced eager lower is better

Полная матрица

ПрофильСценарийJobsJobs/sQueue lag p95, msReady p95, msProcessing p95, msEncode p95, msEncode share, %RSS peak, MiBMax parallelMax backlog
serialsmall_many306.84325633381708083.828127
serialexactly_right180.4733591357142180172282.0174118
serialhuge_few120.4423668258962359150863.8213112
balancedsmall_many3013.69114712743969083.829424
balancedexactly_right180.4931510357648174656283.1434418
balancedhuge_few120.4418161265769046560661.4756412
eagersmall_many3015.5892411664109579.932822
eagerexactly_right180.493173535797163631333083.1818818
eagerhuge_few120.441764826641176781112461.4950812

Queue lag = processing_started_at - created_at. Time-to-ready = finished_at - created_at. Processing = finished_at - processing_started_at. Encode = JPEG thumbnail + JPEG crop + WebP optimized; encode share = encode / (decode + scale + encode) из worker-лога. Суммы байт вариантов и оригинала остаются в JSON, но не выносятся в заголовок: синтетический PNG сжимается слишком хорошо, чтобы отношение байт было честной метрикой эффективности кодека. RSS — VmRSS процесса worker, сэмплирование примерно каждые 100 мс. Max parallel — максимум одновременно обрабатываемых заданий; max backlog — максимум принятых, но ещё не готовых заданий.

Backpressure и восстановление

Перед этим прогоном API пересоздан с MAX_PENDING_JOBS=3, worker остановлен. Cap выбран намеренно: важно не число принятых заданий, а то, что API возвращает 503 с Retry-After и не теряет уже подтверждённую работу. Затем worker запускается, принятые задания должны дойти до ready.

#HTTPLatency, msRetry-AfterError code
120226.7——
220220.3——
320213.8——
45032.45unavailable

Recovery: 3 принятых заданий стали ready за 7.65 с после старта worker. Финальный probe upload: HTTP 202 → ready.

Что это значит

Ограничения