This commit is contained in:
2026-11-06 19:22:27 +03:00
parent 482e7ff477
commit ff6d7c1e73
20 changed files with 58826 additions and 3 deletions
+95
View File
@@ -0,0 +1,95 @@
# Трек 1: очередь под перегрузкой
## Гипотеза
При фиксированном лимите worker в 2 CPU увеличение concurrency с 1 до 2
повысит throughput и сократит ожидание. Увеличение до 4 даст меньший выигрыш
и увеличит RSS. Для крупных изображений сильнее проявится ограничение CPU;
для маленьких заметнее накладные расходы запуска отдельного процесса.
Общий лимит незавершённых вложений должен удерживать очередь в заданных
границах при остановленном worker, не теряя уже подтверждённые загрузки.
## Воспроизведение
Нужны Docker Compose, Python на хосте, локальный `.env` и свободный порт 8080.
Эксперимент запускается без другой нагрузки, после завершения текущих задач.
Он создаёт только синтетические данные и не удаляет volumes.
```sh
docker compose up -d --build
python -X utf8 scripts/queue_experiment.py
```
По умолчанию выполняются два повтора, в каждом по 18 загрузок для каждой
комбинации. Настройки `(concurrency, prefetch на потребителя)`:
`(1, 1)`, `(2, 1)`, `(4, 1)`. Prefetch оставлен равным 1: каждый потребитель
читает одно сообщение и подтверждает его перед чтением следующего.
Меняется только concurrency, чтобы сравнение не смешивало два фактора.
Три JPEG: 320×200, 1280×800, 2560×1600. RGB-шум генерируется
`random.Random(202605)`, JPEG quality=85; файлы генерируются до измерения.
Размеры и SHA-256 входят в результаты. Это труднее для кодека, чем однотонная
картинка, но не репрезентативная коллекция фотографий.
Шесть HTTP-клиентов одновременно загружают файлы через nginx на обе API-реплики.
Для обычных замеров лимит очереди равен 64. Перед каждой конфигурацией —
прогрев шестью маленькими изображениями. Во втором повторе порядок
concurrency и размеров обращается, чтобы уменьшить влияние порядка/прогрева.
Worker сохраняет одинаковые лимиты: 2 CPU, 2 GiB контейнеру, 768 MiB процессу.
Все сервисы, данные и настройки обработки изображений одинаковы.
Скрипт временно переопределяет настройки через отдельный Compose-файл;
в `finally` возвращает настройки базового `compose.yaml`/`.env` и запускает cleanup.
Не меняет `.env`, отчёт, контракт или публичные тесты.
## Метрики
- Throughput: число готовых файлов / время от начала первой отправки до
наблюдения готовности всего пакета. Включает HTTP upload и ожидание очереди.
- p95 до ready: `attachments.updated_at - attachments.created_at`, от
устойчивой записи метаданных до публикации готовности; передача bytes
до этой записи сюда не входит. Nearest-rank p95; при 18 файлах это максимум.
- p95 ожидания: `jobs.first_started_at - jobs.created_at`, включая outbox
и ожидание worker. Время первого захвата сохраняется в БД.
- Queue lag: максимум числа queued и максимальный возраст старейшей queued
записи; processing учитывается отдельно. Опрос состояния каждые ~100 ms.
- RSS: максимум суммы `VmRSS` процессов внутри контейнера worker из `/proc`.
Процесс измерения исключён. Это RSS, а не `docker stats`/page cache;
общие страницы разных процессов могут учитываться повторно.
Драйвер запускается через `docker compose exec` внутри worker и не требует
дополнительных библиотек на хосте. Его HTTP/SQL-опросы делят CPU-квоту с worker;
это одинаковая, но не нулевая погрешность для всех конфигураций. Между отсчётами
можно пропустить краткий пик RSS. Для точных эксплуатационных SLA этих данных мало.
## Перегрузка и восстановление
Worker и cleanup останавливаются; лимит уменьшается до 12. Двенадцать
параллельных клиентов отправляют 24 файла. Проверяются ровно 12 ответов 202
и 12 ответов 429 с `Retry-After`, отсутствие записей/объектов для отказов,
доступность health и отправки сообщений, content=409 для queued.
Проверка охватывает обе API-реплики.
API и broker перезапускаются при остановленном worker. После запуска worker
все первоначально принятые ID должны стать ready с тремя вариантами и исходным
SHA-256. Новая загрузка после опустошения очереди должна снова получить 202
и завершиться. Это проверяет восстановление после перегрузки, а не только
ограничение числа одновременно исполняемых HTTP-запросов.
Admission использует PostgreSQL advisory lock до COMMIT, поэтому две реплики
не могут одновременно пересчитать свободные места и превысить лимит.
Проверка выполняется до S3 PUT, но после приёма/валидации HTTP bytes:
защищены объём принятой работы и staging, а не входящий сетевой трафик.
При максимуме 10 MiB на файл активный staging ограничен примерно
`MAX_PENDING_ATTACHMENTS × 10 MiB`; старые ready/failed объекты живут по
правилам cleanup и в этот лимит не входят. Операторский replay также
проверяет доступную ёмкость. При отказе клиент самостоятельно решает,
когда повторить upload; прозрачных повторов POST нет.
## Артефакты
`queue-load.json` содержит профиль, время запуска UTC, commit базы,
SHA-256 исходников эксперимента/приложения, ID Docker-образа, ресурсы Docker,
все замеры, временные ряды и проверки восстановления.
`queue-load.csv` — компактная таблица замеров. `queue-results.md` — разбор
полученных чисел и ограничений. Секреты, session tokens и пароли не сохраняются.