14 KiB
Исследование: очередь под перегрузкой
Выбран трек 1 лабораторной 5. Исследование сравнивает скорость, задержку и память при разных настройках обработки. Отдельный сценарий проверяет ограничение очереди и восстановление после перегрузки.
Гипотеза
Рост числа параллельных обработок уменьшает ожидание, пока хватает процессора. После насыщения процессора дополнительные обработки увеличивают память и конкурируют за вычисления. Ограничение очереди сохраняет конечное число принятых заданий, когда worker остановлен.
Что означают настройки
WORKER_CONCURRENCYограничивает число параллельных обработок внутри одного worker.WORKER_PREFETCHограничивает буфер заданий перед обработкой.WORKER_PIXEL_BUDGETограничивает суммарное число пикселей у активных обработок.MAX_OUTSTANDING_JOBSограничивает число заданий со статусомqueuedилиprocessingв PostgreSQL.
Redis Streams хранит сообщения до подтверждения. PostgreSQL хранит состояние задания и намерение публикации.
Сообщение Redis содержит идентификаторы. Байты изображения остаются в S3.
Полная очередь приводит к HTTP 429. Текстовые сообщения продолжают работать.
Методика
Стенд включает один worker, две API-реплики, PostgreSQL, Redis и MinIO. Ограничения CPU и памяти worker сохраняются между запусками. Исходные изображения — PNG с псевдослучайными RGB-пикселями. Генератор использует фиксированное начальное значение. SHA-256 каждого изображения записывается в результат.
Скрипт сравнивает шесть запусков:
| Размер PNG | Concurrency | Prefetch | Число изображений |
|---|---|---|---|
| 512×512 | 1 | 1 | 20 |
| 512×512 | 2 | 4 | 20 |
| 512×512 | 4 | 8 | 20 |
| 1536×1536 | 1 | 1 | 20 |
| 1536×1536 | 2 | 4 | 20 |
| 1536×1536 | 4 | 8 | 20 |
Перед каждым запуском worker завершает все задания. Одно изображение прогревает pipeline после изменения настройки.
Измерение начинается после прогрева. Восемь HTTP-потоков отправляют двадцать изображений.
Скрипт опрашивает метаданные до ready для всех принятых вложений.
После измерения скрипт проверяет оригинал и контрольные суммы трёх вариантов у одного вложения.
Метрики
| Метрика | Определение |
|---|---|
| Throughput | Число готовых изображений / время всего пакета, включая upload и опрос |
| p95 до ready | 95-й процентиль времени от начала POST до первого ответа ready |
| p95 после 202 | 95-й процентиль времени от ответа 202 до первого ответа ready |
| Queue lag | Возраст старейшего задания queued из текущего чата; processing исключается |
| RSS | Сумма VmRSS worker, процессов обработки и cwebp |
| Размер очереди | Число заданий queued и processing в PostgreSQL |
Процентиль рассчитывается методом ближайшего ранга. Для двадцати изображений p95 соответствует девятнадцатому значению после сортировки. Скрипт снимает RSS и queue lag между опросами API. Пауза между циклами составляет минимум 250 мс. Фактические интервалы содержатся в JSON. Команды Docker и запросы API увеличивают этот интервал.
Результаты измерений
Дата измерений: 10 ноября 2026 года. Архитектура — arm64, Docker Engine — 29.5.2.
Docker VM располагает двумя CPU и 1,91 GiB RAM.
Worker ограничен одним CPU и 1536 MiB памяти. Эти ограничения одинаковы во всех шести запусках.
Размеры входных файлов составили 787252 и 7081647 байт.
Все 120 измеряемых загрузок вернули 202 и завершились статусом ready.
| PNG | Concurrency / prefetch | Throughput, изобр./с | p95 до ready, с | Queue lag max, с | RSS max, МиБ |
|---|---|---|---|---|---|
| 512×512 | 1/1 | 3.316 | 4.76 | 4.08 | 32.2 |
| 512×512 | 2/4 | 4.013 | 4.33 | 3.17 | 54.2 |
| 512×512 | 4/8 | 3.903 | 4.45 | 2.67 | 90.3 |
| 1536×1536 | 1/1 | 0.774 | 22.79 | 21.48 | 74.2 |
| 1536×1536 | 2/4 | 0.851 | 21.47 | 18.20 | 134.3 |
| 1536×1536 | 4/8 | 0.847 | 20.74 | 16.60 | 224.2 |
PNG-версия графика: lab5-research.png. Точные значения, дополнительные метрики и исходные наблюдения доступны в JSON и CSV.
Для этого стенда рекомендована пара concurrency=2, prefetch=4. Она совпадает с настройкой по умолчанию. Она дала максимальный измеренный throughput для обоих размеров. Относительно 1/1 throughput вырос примерно на 21% для маленьких изображений и на 10% для крупных. Пиковый RSS при этом вырос с 32,2 до 54,2 МиБ и с 74,2 до 134,3 МиБ.
Переход от 2/4 к 4/8 не увеличил throughput. Для крупных изображений p95 улучшился примерно на 3,4%, а RSS вырос примерно на 67%. Для маленьких изображений выросли и RSS, и p95. Выбор 1/1 уменьшает расход памяти ценой большей задержки и меньшей скорости.
Результат согласуется с гипотезой об ограниченной пользе параллелизма при одном CPU.
Он не доказывает причину насыщения: upload, S3 и PostgreSQL также входят в измерение.
Меньший queue lag при 4/8 не означает пропорционального ускорения pipeline.
Метрика исключает задания processing, число которых может расти вместе с concurrency.
Разницу в несколько процентов следует проверить повторными сериями перед изменением рабочих настроек.
Перегрузка и восстановление
Скрипт останавливает worker и устанавливает лимит восемь заданий на обеих API-репликах.
Затем шестнадцать запросов конкурируют за этот общий лимит.
Проверка требует восемь ответов 202, восемь ответов 429 и восемь заданий в PostgreSQL.
Заголовки X-Instance-Id подтверждают участие обеих API-реплик.
После запуска worker все восемь принятых заданий завершаются. Скрипт проверяет пустую очередь и новый успешный upload. Скрипт восстанавливает исходные настройки после эксперимента, в том числе при ошибке проверки.
Фактический результат:
| Проверка | Результат |
|---|---|
| Остановленный worker, лимит 8, предложено 16 | 8 ответов 202, 8 ответов 429 |
| Участие API | Подтверждены две разные реплики |
| Незавершённые задания при остановленном worker | Ровно 8 |
| Текстовое сообщение при полной очереди | Сохранено успешно |
| Принятые задания после запуска worker | Все 8 стали ready |
| Незавершённые задания после восстановления | 0 |
| Следующая загрузка после освобождения очереди | 202, затем ready |
Счётчик завершения проверяется после ожидания готовности worker.
Часть обработки проходит во время этого ожидания, поэтому отдельное поле drain не измеряет полное время восстановления.
Опыт подтверждает общий лимит между репликами и сохранность принятой работы после 202.
Эксперимент завершился с PASS. Исходные настройки worker и API восстановлены и проверены отдельно.
Повторение
Запустите стенд:
make up
make test
Остановите другие нагрузочные проверки. Запустите исследование:
make benchmark
Установите зависимости для графика:
.venv/bin/python -m pip install -r requirements-research.txt
Создайте график:
make plot-research
Скрипт сохраняет исходные наблюдения в evidence/lab5-research.json.
Таблица находится в evidence/lab5-research.csv. Графики сохраняются в SVG и PNG рядом с таблицей.
JSON содержит версию Docker, число CPU, память, образ worker и ограничения контейнера.
Ограничения
Измерения относятся к одному локальному стенду. Пакет из двадцати изображений не определяет производственный SLA. В каждом запуске есть прогрев, но независимых повторений для доверительного интервала нет. Concurrency и prefetch меняются вместе. Результат сравнивает пары настроек и не изолирует влияние каждого параметра.
HTTP upload, проверка изображения, S3 и PostgreSQL также влияют на throughput. Глобальная блокировка при приёме задания сериализует участок записи staging и регистрации задания. Увеличение concurrency не устраняет это ограничение API. Admission ограничивает незавершённую работу. Concurrency и бюджет пикселей ограничивают память обработки. Этот лимит не ограничивает общий размер готовых вложений на диске.
Опрос добавляет задержку к наблюдаемому времени до ready.
Выборка RSS может пропустить короткий пик. Общие страницы памяти могут учитываться несколько раз.
Небольшая часть RSS относится к самой команде наблюдения внутри контейнера.
Значение RSS не равно использованию памяти cgroup с файловым кешем.
Объяснение для защиты
- API возвращает
202после сохранения файла и задания. Обработка изображения продолжается отдельно. - Redis хранит очередь доставки. PostgreSQL хранит состояние и восстанавливает публикацию через outbox.
- Concurrency задаёт число одновременных обработок. Prefetch задаёт запас заданий перед обработкой.
- Задержка растёт, когда задания поступают быстрее обработки. Бесконечная очередь увеличивает ожидание и расход ресурсов.
- Лимит очереди возвращает
429для новой работы. Работа после уже выданного202сохраняется. - После запуска worker очередь завершается. Повторный upload проходит без изменения принятого ранее задания.
- Подтверждение Redis происходит после устойчивого результата. Повтор доставки безопасен благодаря состоянию задания и ключам вариантов.
Это доставка at least once. Повтор доставки возможен, поэтому результат защищён от повторного применения.