8.0 KiB
Трек 1: очередь под перегрузкой
Гипотеза
При фиксированном лимите worker в 2 CPU увеличение concurrency с 1 до 2 повысит throughput и сократит ожидание. Увеличение до 4 даст меньший выигрыш и увеличит RSS. Для крупных изображений сильнее проявится ограничение CPU; для маленьких заметнее накладные расходы запуска отдельного процесса. Общий лимит незавершённых вложений должен удерживать очередь в заданных границах при остановленном worker, не теряя уже подтверждённые загрузки.
Воспроизведение
Нужны Docker Compose, Python на хосте, локальный .env и свободный порт 8080.
Эксперимент запускается без другой нагрузки, после завершения текущих задач.
Он создаёт только синтетические данные и не удаляет volumes.
docker compose up -d --build
python -X utf8 scripts/queue_experiment.py
По умолчанию выполняются два повтора, в каждом по 18 загрузок для каждой
комбинации. Настройки (concurrency, prefetch на потребителя):
(1, 1), (2, 1), (4, 1). Prefetch оставлен равным 1: каждый потребитель
читает одно сообщение и подтверждает его перед чтением следующего.
Меняется только concurrency, чтобы сравнение не смешивало два фактора.
Три JPEG: 320×200, 1280×800, 2560×1600. RGB-шум генерируется
random.Random(202605), JPEG quality=85; файлы генерируются до измерения.
Размеры и SHA-256 входят в результаты. Это труднее для кодека, чем однотонная
картинка, но не репрезентативная коллекция фотографий.
Шесть HTTP-клиентов одновременно загружают файлы через nginx на обе API-реплики. Для обычных замеров лимит очереди равен 64. Перед каждой конфигурацией — прогрев шестью маленькими изображениями. Во втором повторе порядок concurrency и размеров обращается, чтобы уменьшить влияние порядка/прогрева. Worker сохраняет одинаковые лимиты: 2 CPU, 2 GiB контейнеру, 768 MiB процессу. Все сервисы, данные и настройки обработки изображений одинаковы.
Скрипт временно переопределяет настройки через отдельный Compose-файл;
в finally возвращает настройки базового compose.yaml/.env и запускает cleanup.
Не меняет .env, отчёт, контракт или публичные тесты.
Метрики
- Throughput: число готовых файлов / время от начала первой отправки до наблюдения готовности всего пакета. Включает HTTP upload и ожидание очереди.
- p95 до ready:
attachments.updated_at - attachments.created_at, от устойчивой записи метаданных до публикации готовности; передача bytes до этой записи сюда не входит. Nearest-rank p95; при 18 файлах это максимум. - p95 ожидания:
jobs.first_started_at - jobs.created_at, включая outbox и ожидание worker. Время первого захвата сохраняется в БД. - Queue lag: максимум числа queued и максимальный возраст старейшей queued записи; processing учитывается отдельно. Опрос состояния каждые ~100 ms.
- RSS: максимум суммы
VmRSSпроцессов внутри контейнера worker из/proc. Процесс измерения исключён. Это RSS, а неdocker stats/page cache; общие страницы разных процессов могут учитываться повторно.
Драйвер запускается через docker compose exec внутри worker и не требует
дополнительных библиотек на хосте. Его HTTP/SQL-опросы делят CPU-квоту с worker;
это одинаковая, но не нулевая погрешность для всех конфигураций. Между отсчётами
можно пропустить краткий пик RSS. Для точных эксплуатационных SLA этих данных мало.
Перегрузка и восстановление
Worker и cleanup останавливаются; лимит уменьшается до 12. Двенадцать
параллельных клиентов отправляют 24 файла. Проверяются ровно 12 ответов 202
и 12 ответов 429 с Retry-After, отсутствие записей/объектов для отказов,
доступность health и отправки сообщений, content=409 для queued.
Проверка охватывает обе API-реплики.
API и broker перезапускаются при остановленном worker. После запуска worker все первоначально принятые ID должны стать ready с тремя вариантами и исходным SHA-256. Новая загрузка после опустошения очереди должна снова получить 202 и завершиться. Это проверяет восстановление после перегрузки, а не только ограничение числа одновременно исполняемых HTTP-запросов.
Admission использует PostgreSQL advisory lock до COMMIT, поэтому две реплики
не могут одновременно пересчитать свободные места и превысить лимит.
Проверка выполняется до S3 PUT, но после приёма/валидации HTTP bytes:
защищены объём принятой работы и staging, а не входящий сетевой трафик.
При максимуме 10 MiB на файл активный staging ограничен примерно
MAX_PENDING_ATTACHMENTS × 10 MiB; старые ready/failed объекты живут по
правилам cleanup и в этот лимит не входят. Операторский replay также
проверяет доступную ёмкость. При отказе клиент самостоятельно решает,
когда повторить upload; прозрачных повторов POST нет.
Артефакты
queue-load.json содержит профиль, время запуска UTC, commit базы,
SHA-256 исходников эксперимента/приложения, ID Docker-образа, ресурсы Docker,
все замеры, временные ряды и проверки восстановления.
queue-load.csv — компактная таблица замеров. queue-results.md — разбор
полученных чисел и ограничений. Секреты, session tokens и пароли не сохраняются.