Files
2026-11-06 19:22:27 +03:00

8.0 KiB
Raw Permalink Blame History

Трек 1: очередь под перегрузкой

Гипотеза

При фиксированном лимите worker в 2 CPU увеличение concurrency с 1 до 2 повысит throughput и сократит ожидание. Увеличение до 4 даст меньший выигрыш и увеличит RSS. Для крупных изображений сильнее проявится ограничение CPU; для маленьких заметнее накладные расходы запуска отдельного процесса. Общий лимит незавершённых вложений должен удерживать очередь в заданных границах при остановленном worker, не теряя уже подтверждённые загрузки.

Воспроизведение

Нужны Docker Compose, Python на хосте, локальный .env и свободный порт 8080. Эксперимент запускается без другой нагрузки, после завершения текущих задач. Он создаёт только синтетические данные и не удаляет volumes.

docker compose up -d --build
python -X utf8 scripts/queue_experiment.py

По умолчанию выполняются два повтора, в каждом по 18 загрузок для каждой комбинации. Настройки (concurrency, prefetch на потребителя): (1, 1), (2, 1), (4, 1). Prefetch оставлен равным 1: каждый потребитель читает одно сообщение и подтверждает его перед чтением следующего. Меняется только concurrency, чтобы сравнение не смешивало два фактора.

Три JPEG: 320×200, 1280×800, 2560×1600. RGB-шум генерируется random.Random(202605), JPEG quality=85; файлы генерируются до измерения. Размеры и SHA-256 входят в результаты. Это труднее для кодека, чем однотонная картинка, но не репрезентативная коллекция фотографий.

Шесть HTTP-клиентов одновременно загружают файлы через nginx на обе API-реплики. Для обычных замеров лимит очереди равен 64. Перед каждой конфигурацией — прогрев шестью маленькими изображениями. Во втором повторе порядок concurrency и размеров обращается, чтобы уменьшить влияние порядка/прогрева. Worker сохраняет одинаковые лимиты: 2 CPU, 2 GiB контейнеру, 768 MiB процессу. Все сервисы, данные и настройки обработки изображений одинаковы.

Скрипт временно переопределяет настройки через отдельный Compose-файл; в finally возвращает настройки базового compose.yaml/.env и запускает cleanup. Не меняет .env, отчёт, контракт или публичные тесты.

Метрики

  • Throughput: число готовых файлов / время от начала первой отправки до наблюдения готовности всего пакета. Включает HTTP upload и ожидание очереди.
  • p95 до ready: attachments.updated_at - attachments.created_at, от устойчивой записи метаданных до публикации готовности; передача bytes до этой записи сюда не входит. Nearest-rank p95; при 18 файлах это максимум.
  • p95 ожидания: jobs.first_started_at - jobs.created_at, включая outbox и ожидание worker. Время первого захвата сохраняется в БД.
  • Queue lag: максимум числа queued и максимальный возраст старейшей queued записи; processing учитывается отдельно. Опрос состояния каждые ~100 ms.
  • RSS: максимум суммы VmRSS процессов внутри контейнера worker из /proc. Процесс измерения исключён. Это RSS, а не docker stats/page cache; общие страницы разных процессов могут учитываться повторно.

Драйвер запускается через docker compose exec внутри worker и не требует дополнительных библиотек на хосте. Его HTTP/SQL-опросы делят CPU-квоту с worker; это одинаковая, но не нулевая погрешность для всех конфигураций. Между отсчётами можно пропустить краткий пик RSS. Для точных эксплуатационных SLA этих данных мало.

Перегрузка и восстановление

Worker и cleanup останавливаются; лимит уменьшается до 12. Двенадцать параллельных клиентов отправляют 24 файла. Проверяются ровно 12 ответов 202 и 12 ответов 429 с Retry-After, отсутствие записей/объектов для отказов, доступность health и отправки сообщений, content=409 для queued. Проверка охватывает обе API-реплики.

API и broker перезапускаются при остановленном worker. После запуска worker все первоначально принятые ID должны стать ready с тремя вариантами и исходным SHA-256. Новая загрузка после опустошения очереди должна снова получить 202 и завершиться. Это проверяет восстановление после перегрузки, а не только ограничение числа одновременно исполняемых HTTP-запросов.

Admission использует PostgreSQL advisory lock до COMMIT, поэтому две реплики не могут одновременно пересчитать свободные места и превысить лимит. Проверка выполняется до S3 PUT, но после приёма/валидации HTTP bytes: защищены объём принятой работы и staging, а не входящий сетевой трафик. При максимуме 10 MiB на файл активный staging ограничен примерно MAX_PENDING_ATTACHMENTS × 10 MiB; старые ready/failed объекты живут по правилам cleanup и в этот лимит не входят. Операторский replay также проверяет доступную ёмкость. При отказе клиент самостоятельно решает, когда повторить upload; прозрачных повторов POST нет.

Артефакты

queue-load.json содержит профиль, время запуска UTC, commit базы, SHA-256 исходников эксперимента/приложения, ID Docker-образа, ресурсы Docker, все замеры, временные ряды и проверки восстановления. queue-load.csv — компактная таблица замеров. queue-results.md — разбор полученных чисел и ограничений. Секреты, session tokens и пароли не сохраняются.