forked from mtusi2026/mtusi2026lab5
96 lines
8.0 KiB
Markdown
96 lines
8.0 KiB
Markdown
# Трек 1: очередь под перегрузкой
|
||
|
||
## Гипотеза
|
||
|
||
При фиксированном лимите worker в 2 CPU увеличение concurrency с 1 до 2
|
||
повысит throughput и сократит ожидание. Увеличение до 4 даст меньший выигрыш
|
||
и увеличит RSS. Для крупных изображений сильнее проявится ограничение CPU;
|
||
для маленьких заметнее накладные расходы запуска отдельного процесса.
|
||
Общий лимит незавершённых вложений должен удерживать очередь в заданных
|
||
границах при остановленном worker, не теряя уже подтверждённые загрузки.
|
||
|
||
## Воспроизведение
|
||
|
||
Нужны Docker Compose, Python на хосте, локальный `.env` и свободный порт 8080.
|
||
Эксперимент запускается без другой нагрузки, после завершения текущих задач.
|
||
Он создаёт только синтетические данные и не удаляет volumes.
|
||
|
||
```sh
|
||
docker compose up -d --build
|
||
python -X utf8 scripts/queue_experiment.py
|
||
```
|
||
|
||
По умолчанию выполняются два повтора, в каждом по 18 загрузок для каждой
|
||
комбинации. Настройки `(concurrency, prefetch на потребителя)`:
|
||
`(1, 1)`, `(2, 1)`, `(4, 1)`. Prefetch оставлен равным 1: каждый потребитель
|
||
читает одно сообщение и подтверждает его перед чтением следующего.
|
||
Меняется только concurrency, чтобы сравнение не смешивало два фактора.
|
||
|
||
Три JPEG: 320×200, 1280×800, 2560×1600. RGB-шум генерируется
|
||
`random.Random(202605)`, JPEG quality=85; файлы генерируются до измерения.
|
||
Размеры и SHA-256 входят в результаты. Это труднее для кодека, чем однотонная
|
||
картинка, но не репрезентативная коллекция фотографий.
|
||
|
||
Шесть HTTP-клиентов одновременно загружают файлы через nginx на обе API-реплики.
|
||
Для обычных замеров лимит очереди равен 64. Перед каждой конфигурацией —
|
||
прогрев шестью маленькими изображениями. Во втором повторе порядок
|
||
concurrency и размеров обращается, чтобы уменьшить влияние порядка/прогрева.
|
||
Worker сохраняет одинаковые лимиты: 2 CPU, 2 GiB контейнеру, 768 MiB процессу.
|
||
Все сервисы, данные и настройки обработки изображений одинаковы.
|
||
|
||
Скрипт временно переопределяет настройки через отдельный Compose-файл;
|
||
в `finally` возвращает настройки базового `compose.yaml`/`.env` и запускает cleanup.
|
||
Не меняет `.env`, отчёт, контракт или публичные тесты.
|
||
|
||
## Метрики
|
||
|
||
- Throughput: число готовых файлов / время от начала первой отправки до
|
||
наблюдения готовности всего пакета. Включает HTTP upload и ожидание очереди.
|
||
- p95 до ready: `attachments.updated_at - attachments.created_at`, от
|
||
устойчивой записи метаданных до публикации готовности; передача bytes
|
||
до этой записи сюда не входит. Nearest-rank p95; при 18 файлах это максимум.
|
||
- p95 ожидания: `jobs.first_started_at - jobs.created_at`, включая outbox
|
||
и ожидание worker. Время первого захвата сохраняется в БД.
|
||
- Queue lag: максимум числа queued и максимальный возраст старейшей queued
|
||
записи; processing учитывается отдельно. Опрос состояния каждые ~100 ms.
|
||
- RSS: максимум суммы `VmRSS` процессов внутри контейнера worker из `/proc`.
|
||
Процесс измерения исключён. Это RSS, а не `docker stats`/page cache;
|
||
общие страницы разных процессов могут учитываться повторно.
|
||
|
||
Драйвер запускается через `docker compose exec` внутри worker и не требует
|
||
дополнительных библиотек на хосте. Его HTTP/SQL-опросы делят CPU-квоту с worker;
|
||
это одинаковая, но не нулевая погрешность для всех конфигураций. Между отсчётами
|
||
можно пропустить краткий пик RSS. Для точных эксплуатационных SLA этих данных мало.
|
||
|
||
## Перегрузка и восстановление
|
||
|
||
Worker и cleanup останавливаются; лимит уменьшается до 12. Двенадцать
|
||
параллельных клиентов отправляют 24 файла. Проверяются ровно 12 ответов 202
|
||
и 12 ответов 429 с `Retry-After`, отсутствие записей/объектов для отказов,
|
||
доступность health и отправки сообщений, content=409 для queued.
|
||
Проверка охватывает обе API-реплики.
|
||
|
||
API и broker перезапускаются при остановленном worker. После запуска worker
|
||
все первоначально принятые ID должны стать ready с тремя вариантами и исходным
|
||
SHA-256. Новая загрузка после опустошения очереди должна снова получить 202
|
||
и завершиться. Это проверяет восстановление после перегрузки, а не только
|
||
ограничение числа одновременно исполняемых HTTP-запросов.
|
||
|
||
Admission использует PostgreSQL advisory lock до COMMIT, поэтому две реплики
|
||
не могут одновременно пересчитать свободные места и превысить лимит.
|
||
Проверка выполняется до S3 PUT, но после приёма/валидации HTTP bytes:
|
||
защищены объём принятой работы и staging, а не входящий сетевой трафик.
|
||
При максимуме 10 MiB на файл активный staging ограничен примерно
|
||
`MAX_PENDING_ATTACHMENTS × 10 MiB`; старые ready/failed объекты живут по
|
||
правилам cleanup и в этот лимит не входят. Операторский replay также
|
||
проверяет доступную ёмкость. При отказе клиент самостоятельно решает,
|
||
когда повторить upload; прозрачных повторов POST нет.
|
||
|
||
## Артефакты
|
||
|
||
`queue-load.json` содержит профиль, время запуска UTC, commit базы,
|
||
SHA-256 исходников эксперимента/приложения, ID Docker-образа, ресурсы Docker,
|
||
все замеры, временные ряды и проверки восстановления.
|
||
`queue-load.csv` — компактная таблица замеров. `queue-results.md` — разбор
|
||
полученных чисел и ограничений. Секреты, session tokens и пароли не сохраняются.
|