Files
2026-11-06 19:22:27 +03:00

96 lines
8.0 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Трек 1: очередь под перегрузкой
## Гипотеза
При фиксированном лимите worker в 2 CPU увеличение concurrency с 1 до 2
повысит throughput и сократит ожидание. Увеличение до 4 даст меньший выигрыш
и увеличит RSS. Для крупных изображений сильнее проявится ограничение CPU;
для маленьких заметнее накладные расходы запуска отдельного процесса.
Общий лимит незавершённых вложений должен удерживать очередь в заданных
границах при остановленном worker, не теряя уже подтверждённые загрузки.
## Воспроизведение
Нужны Docker Compose, Python на хосте, локальный `.env` и свободный порт 8080.
Эксперимент запускается без другой нагрузки, после завершения текущих задач.
Он создаёт только синтетические данные и не удаляет volumes.
```sh
docker compose up -d --build
python -X utf8 scripts/queue_experiment.py
```
По умолчанию выполняются два повтора, в каждом по 18 загрузок для каждой
комбинации. Настройки `(concurrency, prefetch на потребителя)`:
`(1, 1)`, `(2, 1)`, `(4, 1)`. Prefetch оставлен равным 1: каждый потребитель
читает одно сообщение и подтверждает его перед чтением следующего.
Меняется только concurrency, чтобы сравнение не смешивало два фактора.
Три JPEG: 320×200, 1280×800, 2560×1600. RGB-шум генерируется
`random.Random(202605)`, JPEG quality=85; файлы генерируются до измерения.
Размеры и SHA-256 входят в результаты. Это труднее для кодека, чем однотонная
картинка, но не репрезентативная коллекция фотографий.
Шесть HTTP-клиентов одновременно загружают файлы через nginx на обе API-реплики.
Для обычных замеров лимит очереди равен 64. Перед каждой конфигурацией —
прогрев шестью маленькими изображениями. Во втором повторе порядок
concurrency и размеров обращается, чтобы уменьшить влияние порядка/прогрева.
Worker сохраняет одинаковые лимиты: 2 CPU, 2 GiB контейнеру, 768 MiB процессу.
Все сервисы, данные и настройки обработки изображений одинаковы.
Скрипт временно переопределяет настройки через отдельный Compose-файл;
в `finally` возвращает настройки базового `compose.yaml`/`.env` и запускает cleanup.
Не меняет `.env`, отчёт, контракт или публичные тесты.
## Метрики
- Throughput: число готовых файлов / время от начала первой отправки до
наблюдения готовности всего пакета. Включает HTTP upload и ожидание очереди.
- p95 до ready: `attachments.updated_at - attachments.created_at`, от
устойчивой записи метаданных до публикации готовности; передача bytes
до этой записи сюда не входит. Nearest-rank p95; при 18 файлах это максимум.
- p95 ожидания: `jobs.first_started_at - jobs.created_at`, включая outbox
и ожидание worker. Время первого захвата сохраняется в БД.
- Queue lag: максимум числа queued и максимальный возраст старейшей queued
записи; processing учитывается отдельно. Опрос состояния каждые ~100 ms.
- RSS: максимум суммы `VmRSS` процессов внутри контейнера worker из `/proc`.
Процесс измерения исключён. Это RSS, а не `docker stats`/page cache;
общие страницы разных процессов могут учитываться повторно.
Драйвер запускается через `docker compose exec` внутри worker и не требует
дополнительных библиотек на хосте. Его HTTP/SQL-опросы делят CPU-квоту с worker;
это одинаковая, но не нулевая погрешность для всех конфигураций. Между отсчётами
можно пропустить краткий пик RSS. Для точных эксплуатационных SLA этих данных мало.
## Перегрузка и восстановление
Worker и cleanup останавливаются; лимит уменьшается до 12. Двенадцать
параллельных клиентов отправляют 24 файла. Проверяются ровно 12 ответов 202
и 12 ответов 429 с `Retry-After`, отсутствие записей/объектов для отказов,
доступность health и отправки сообщений, content=409 для queued.
Проверка охватывает обе API-реплики.
API и broker перезапускаются при остановленном worker. После запуска worker
все первоначально принятые ID должны стать ready с тремя вариантами и исходным
SHA-256. Новая загрузка после опустошения очереди должна снова получить 202
и завершиться. Это проверяет восстановление после перегрузки, а не только
ограничение числа одновременно исполняемых HTTP-запросов.
Admission использует PostgreSQL advisory lock до COMMIT, поэтому две реплики
не могут одновременно пересчитать свободные места и превысить лимит.
Проверка выполняется до S3 PUT, но после приёма/валидации HTTP bytes:
защищены объём принятой работы и staging, а не входящий сетевой трафик.
При максимуме 10 MiB на файл активный staging ограничен примерно
`MAX_PENDING_ATTACHMENTS × 10 MiB`; старые ready/failed объекты живут по
правилам cleanup и в этот лимит не входят. Операторский replay также
проверяет доступную ёмкость. При отказе клиент самостоятельно решает,
когда повторить upload; прозрачных повторов POST нет.
## Артефакты
`queue-load.json` содержит профиль, время запуска UTC, commit базы,
SHA-256 исходников эксперимента/приложения, ID Docker-образа, ресурсы Docker,
все замеры, временные ряды и проверки восстановления.
`queue-load.csv` — компактная таблица замеров. `queue-results.md` — разбор
полученных чисел и ограничений. Секреты, session tokens и пароли не сохраняются.