Files
2026-11-10 22:13:40 +03:00

14 KiB
Raw Permalink Blame History

Исследование: очередь под перегрузкой

Выбран трек 1 лабораторной 5. Исследование сравнивает скорость, задержку и память при разных настройках обработки. Отдельный сценарий проверяет ограничение очереди и восстановление после перегрузки.

Гипотеза

Рост числа параллельных обработок уменьшает ожидание, пока хватает процессора. После насыщения процессора дополнительные обработки увеличивают память и конкурируют за вычисления. Ограничение очереди сохраняет конечное число принятых заданий, когда worker остановлен.

Что означают настройки

  • WORKER_CONCURRENCY ограничивает число параллельных обработок внутри одного worker.
  • WORKER_PREFETCH ограничивает буфер заданий перед обработкой.
  • WORKER_PIXEL_BUDGET ограничивает суммарное число пикселей у активных обработок.
  • MAX_OUTSTANDING_JOBS ограничивает число заданий со статусом queued или processing в PostgreSQL.

Redis Streams хранит сообщения до подтверждения. PostgreSQL хранит состояние задания и намерение публикации. Сообщение Redis содержит идентификаторы. Байты изображения остаются в S3. Полная очередь приводит к HTTP 429. Текстовые сообщения продолжают работать.

Методика

Стенд включает один worker, две API-реплики, PostgreSQL, Redis и MinIO. Ограничения CPU и памяти worker сохраняются между запусками. Исходные изображения — PNG с псевдослучайными RGB-пикселями. Генератор использует фиксированное начальное значение. SHA-256 каждого изображения записывается в результат.

Скрипт сравнивает шесть запусков:

Размер PNG Concurrency Prefetch Число изображений
512×512 1 1 20
512×512 2 4 20
512×512 4 8 20
1536×1536 1 1 20
1536×1536 2 4 20
1536×1536 4 8 20

Перед каждым запуском worker завершает все задания. Одно изображение прогревает pipeline после изменения настройки. Измерение начинается после прогрева. Восемь HTTP-потоков отправляют двадцать изображений. Скрипт опрашивает метаданные до ready для всех принятых вложений. После измерения скрипт проверяет оригинал и контрольные суммы трёх вариантов у одного вложения.

Метрики

Метрика Определение
Throughput Число готовых изображений / время всего пакета, включая upload и опрос
p95 до ready 95-й процентиль времени от начала POST до первого ответа ready
p95 после 202 95-й процентиль времени от ответа 202 до первого ответа ready
Queue lag Возраст старейшего задания queued из текущего чата; processing исключается
RSS Сумма VmRSS worker, процессов обработки и cwebp
Размер очереди Число заданий queued и processing в PostgreSQL

Процентиль рассчитывается методом ближайшего ранга. Для двадцати изображений p95 соответствует девятнадцатому значению после сортировки. Скрипт снимает RSS и queue lag между опросами API. Пауза между циклами составляет минимум 250 мс. Фактические интервалы содержатся в JSON. Команды Docker и запросы API увеличивают этот интервал.

Результаты измерений

Дата измерений: 10 ноября 2026 года. Архитектура — arm64, Docker Engine — 29.5.2. Docker VM располагает двумя CPU и 1,91 GiB RAM. Worker ограничен одним CPU и 1536 MiB памяти. Эти ограничения одинаковы во всех шести запусках. Размеры входных файлов составили 787252 и 7081647 байт. Все 120 измеряемых загрузок вернули 202 и завершились статусом ready.

PNG Concurrency / prefetch Throughput, изобр./с p95 до ready, с Queue lag max, с RSS max, МиБ
512×512 1/1 3.316 4.76 4.08 32.2
512×512 2/4 4.013 4.33 3.17 54.2
512×512 4/8 3.903 4.45 2.67 90.3
1536×1536 1/1 0.774 22.79 21.48 74.2
1536×1536 2/4 0.851 21.47 18.20 134.3
1536×1536 4/8 0.847 20.74 16.60 224.2

Результаты шести измерений

PNG-версия графика: lab5-research.png. Точные значения, дополнительные метрики и исходные наблюдения доступны в JSON и CSV.

Для этого стенда рекомендована пара concurrency=2, prefetch=4. Она совпадает с настройкой по умолчанию. Она дала максимальный измеренный throughput для обоих размеров. Относительно 1/1 throughput вырос примерно на 21% для маленьких изображений и на 10% для крупных. Пиковый RSS при этом вырос с 32,2 до 54,2 МиБ и с 74,2 до 134,3 МиБ.

Переход от 2/4 к 4/8 не увеличил throughput. Для крупных изображений p95 улучшился примерно на 3,4%, а RSS вырос примерно на 67%. Для маленьких изображений выросли и RSS, и p95. Выбор 1/1 уменьшает расход памяти ценой большей задержки и меньшей скорости.

Результат согласуется с гипотезой об ограниченной пользе параллелизма при одном CPU. Он не доказывает причину насыщения: upload, S3 и PostgreSQL также входят в измерение. Меньший queue lag при 4/8 не означает пропорционального ускорения pipeline. Метрика исключает задания processing, число которых может расти вместе с concurrency. Разницу в несколько процентов следует проверить повторными сериями перед изменением рабочих настроек.

Перегрузка и восстановление

Скрипт останавливает worker и устанавливает лимит восемь заданий на обеих API-репликах. Затем шестнадцать запросов конкурируют за этот общий лимит. Проверка требует восемь ответов 202, восемь ответов 429 и восемь заданий в PostgreSQL. Заголовки X-Instance-Id подтверждают участие обеих API-реплик.

После запуска worker все восемь принятых заданий завершаются. Скрипт проверяет пустую очередь и новый успешный upload. Скрипт восстанавливает исходные настройки после эксперимента, в том числе при ошибке проверки.

Фактический результат:

Проверка Результат
Остановленный worker, лимит 8, предложено 16 8 ответов 202, 8 ответов 429
Участие API Подтверждены две разные реплики
Незавершённые задания при остановленном worker Ровно 8
Текстовое сообщение при полной очереди Сохранено успешно
Принятые задания после запуска worker Все 8 стали ready
Незавершённые задания после восстановления 0
Следующая загрузка после освобождения очереди 202, затем ready

Счётчик завершения проверяется после ожидания готовности worker. Часть обработки проходит во время этого ожидания, поэтому отдельное поле drain не измеряет полное время восстановления. Опыт подтверждает общий лимит между репликами и сохранность принятой работы после 202. Эксперимент завершился с PASS. Исходные настройки worker и API восстановлены и проверены отдельно.

Повторение

Запустите стенд:

make up
make test

Остановите другие нагрузочные проверки. Запустите исследование:

make benchmark

Установите зависимости для графика:

.venv/bin/python -m pip install -r requirements-research.txt

Создайте график:

make plot-research

Скрипт сохраняет исходные наблюдения в evidence/lab5-research.json. Таблица находится в evidence/lab5-research.csv. Графики сохраняются в SVG и PNG рядом с таблицей. JSON содержит версию Docker, число CPU, память, образ worker и ограничения контейнера.

Ограничения

Измерения относятся к одному локальному стенду. Пакет из двадцати изображений не определяет производственный SLA. В каждом запуске есть прогрев, но независимых повторений для доверительного интервала нет. Concurrency и prefetch меняются вместе. Результат сравнивает пары настроек и не изолирует влияние каждого параметра.

HTTP upload, проверка изображения, S3 и PostgreSQL также влияют на throughput. Глобальная блокировка при приёме задания сериализует участок записи staging и регистрации задания. Увеличение concurrency не устраняет это ограничение API. Admission ограничивает незавершённую работу. Concurrency и бюджет пикселей ограничивают память обработки. Этот лимит не ограничивает общий размер готовых вложений на диске.

Опрос добавляет задержку к наблюдаемому времени до ready. Выборка RSS может пропустить короткий пик. Общие страницы памяти могут учитываться несколько раз. Небольшая часть RSS относится к самой команде наблюдения внутри контейнера. Значение RSS не равно использованию памяти cgroup с файловым кешем.

Объяснение для защиты

  1. API возвращает 202 после сохранения файла и задания. Обработка изображения продолжается отдельно.
  2. Redis хранит очередь доставки. PostgreSQL хранит состояние и восстанавливает публикацию через outbox.
  3. Concurrency задаёт число одновременных обработок. Prefetch задаёт запас заданий перед обработкой.
  4. Задержка растёт, когда задания поступают быстрее обработки. Бесконечная очередь увеличивает ожидание и расход ресурсов.
  5. Лимит очереди возвращает 429 для новой работы. Работа после уже выданного 202 сохраняется.
  6. После запуска worker очередь завершается. Повторный upload проходит без изменения принятого ранее задания.
  7. Подтверждение Redis происходит после устойчивого результата. Повтор доставки безопасен благодаря состоянию задания и ключам вариантов.

Это доставка at least once. Повтор доставки возможен, поэтому результат защищён от повторного применения.