Lab5, трек 1: очередь под перегрузкой
Сгенерировано 2026-11-20T16:02:07.856909+00:00. Стенд: http://172.18.0.1:8080, 4 CPU, Docker 5.6.1.
Профили и сценарии
| Профиль | Concurrency | Prefetch | Смысл |
|---|---|---|---|
| serial | 1 | 1 | one job at a time; minimum memory, maximum queueing |
| balanced | 4 | 4 | moderate in-process parallelism and broker window |
| eager | 8 | 32 | wide broker window; highest memory, lowest latency |
Сценарии: small_many — 192×128, 30 jobs, many small images; almost no scaling; exactly_right — 1280×1280, 18 jobs, largest variant encodes at native 1280, so no scaling on the WebP path; huge_few — 2400×1800, 12 jobs, few 4.32 MP images; optimized variant must scale down to 1280.
Ключевые числа
Полная матрица
| Профиль | Сценарий | Jobs | Jobs/s | Queue lag p95, ms | Ready p95, ms | Processing p95, ms | Encode p95, ms | Encode share, % | RSS peak, MiB | Max parallel | Max backlog |
|---|---|---|---|---|---|---|---|---|---|---|---|
| serial | small_many | 30 | 6.84 | 3256 | 3338 | 170 | 80 | 83.8 | 28 | 1 | 27 |
| serial | exactly_right | 18 | 0.47 | 33591 | 35714 | 2180 | 1722 | 82.0 | 174 | 1 | 18 |
| serial | huge_few | 12 | 0.44 | 23668 | 25896 | 2359 | 1508 | 63.8 | 213 | 1 | 12 |
| balanced | small_many | 30 | 13.69 | 1147 | 1274 | 396 | 90 | 83.8 | 29 | 4 | 24 |
| balanced | exactly_right | 18 | 0.49 | 31510 | 35764 | 8174 | 6562 | 83.1 | 434 | 4 | 18 |
| balanced | huge_few | 12 | 0.44 | 18161 | 26576 | 9046 | 5606 | 61.4 | 756 | 4 | 12 |
| eager | small_many | 30 | 15.58 | 924 | 1166 | 410 | 95 | 79.9 | 32 | 8 | 22 |
| eager | exactly_right | 18 | 0.49 | 31735 | 35797 | 16363 | 13330 | 83.1 | 818 | 8 | 18 |
| eager | huge_few | 12 | 0.44 | 17648 | 26641 | 17678 | 11124 | 61.4 | 950 | 8 | 12 |
Queue lag = processing_started_at - created_at.
Time-to-ready = finished_at - created_at. Processing = finished_at - processing_started_at.
Encode = JPEG thumbnail + JPEG crop + WebP optimized; encode share =
encode / (decode + scale + encode) из worker-лога.
Суммы байт вариантов и оригинала остаются в JSON, но не выносятся в заголовок:
синтетический PNG сжимается слишком хорошо, чтобы отношение байт было честной
метрикой эффективности кодека.
RSS — VmRSS процесса worker, сэмплирование примерно каждые 100 мс.
Max parallel — максимум одновременно обрабатываемых заданий; max backlog —
максимум принятых, но ещё не готовых заданий.
Backpressure и восстановление
Перед этим прогоном API пересоздан с MAX_PENDING_JOBS=3, worker
остановлен. Cap выбран намеренно: важно не число принятых заданий, а то, что
API возвращает 503 с Retry-After и не теряет уже
подтверждённую работу. Затем worker запускается, принятые задания должны дойти
до ready.
| # | HTTP | Latency, ms | Retry-After | Error code |
|---|---|---|---|---|
| 1 | 202 | 26.7 | — | — |
| 2 | 202 | 20.3 | — | — |
| 3 | 202 | 13.8 | — | — |
| 4 | 503 | 2.4 | 5 | unavailable |
Recovery: 3 принятых заданий стали ready за 7.65 с после старта worker. Финальный probe upload: HTTP 202 → ready.
Что это значит
- small_many: eager быстрее serial в 2.3× по throughput.
- small_many: пиковый RSS eager относится к serial как 1.1×.
- exactly_right: throughput eager и serial практически одинаков.
- exactly_right: пиковый RSS eager относится к serial как 4.7×.
- huge_few: throughput eager и serial практически одинаков.
- huge_few: пиковый RSS eager относится к serial как 4.5×.
- При balanced p95 time-to-ready для huge_few в 20.9× больше, чем для small_many: размер изображения меняет стоимость задания, а не только число заданий.
- Compression vs scaling (balanced): exactly_right — encode share 83.1%, scale p95 1527 ms; huge_few — encode share 61.4%, scale p95 3448 ms. На exactly_right optimized WebP кодируется в native 1280, поэтому это нижняя граница стоимости сжатия; на huge_few к ней добавляется downscale.
- На huge_few eager почти не поднял throughput (1.02×): worker ограничен 1.0 CPU, а декодирование и масштабирование упираются в CPU. Concurrency снижает queue lag, но при этом растёт RSS; это и есть компромисс latency/ресурсы, а не бесплатное ускорение.
- serial ограничивает одновременно обрабатываемые задания одним, поэтому queue lag растёт, но RSS остаётся минимальным. eager держит больше заданий в работе и в prefetch-окне брокера.
- Backpressure: cap=3 выставлен намеренно, поэтому число принятых заданий — следствие настройки, а не открытие. Значимо то, что API вернул 503 с Retry-After=5, а после старта worker очередь восстановилась за 7.7 с.
Ограничения
- Один worker, один RabbitMQ и один PostgreSQL: это сравнение настроек, а не HA-кластер. Числа зависят от CPU/диска конкретной машины.
- PNG-фикстуры синтетические и хорошо сжимаются; absolute encode time зависит от паттерна, но сравнение сценариев при одном паттерне остаётся корректным. Размер в байтах указан в JSON.
- Timing-поля читаются из worker-лога. Это wall-clock внутри процесса, поэтому при concurrency > 1 в них входит и планировщик, что как раз и нужно для сравнения профилей.
- exactly_right кодирует 1.64 MP WebP, а huge_few после downscale — около 1.23 MP. Сценарий убирает scaling, но не уравнивает объём encode; это указано, чтобы не сравнивать throughput как «одинаковую работу».
- RSS сэмплируется из
/proc/1/status; короткий прогон не заменяет длительный memory profile и p99. - Backpressure cap приблизительный: каждая API-реплика считает pending-задания по общей БД, но проверка и вставка не являются одной транзакцией.