Очередь под перегрузкой: метка baseline
- Статус: **прерван: StandError: c4p4-x-r1: no ready job after the drain:
2026-11-05T20:44:04.880Z INFO src.worker [rid=-] worker started queue=bench.attachment-jobs concurrency=4 prefetch=4 max_attempts=5 job_timeout=60s lease=80s retry=2..120s render_memory=768MiB db=postgres:5432/bench pool=2 s3=http://s3:8333 broker=rabbitmq:5672 fault=-
2026-11-05T20:44:04.887Z INFO src.broker [rid=-] broker consuming queue=bench.attachment-jobs prefetch=4
2026-11-05T20:44:05.280Z INFO src.worker [rid=-] worker stopped exit_code=0 cancelled=0 returned=0
2026-11-05T20:44:08.660Z INFO src.worker [rid=-] worker started queue=bench.attachment-jobs concurrency=4 prefetch=4 max_attempts=5 job_timeout=60s lease=80s retry=2..120s render_memory=768MiB db=postgres:5432/bench pool=2 s3=http://s3:8333 broker=rabbitmq:5672 fault=-
2026-11-05T20:44:08.666Z INFO src.broker [rid=-] broker consuming queue=bench.attachment-jobs prefetch=4
**
- Код (
src_sha256 образа): 4c4bb305b2747d154105720b93261ef476675670470bfa7a10b338dd79514da9
- Профиль
queue: настройки c1p1 (concurrency 1, prefetch 1), c2p2 (concurrency 2, prefetch 2), c4p4 (concurrency 4, prefetch 4), c2p32 (concurrency 2, prefetch 32); повторов 2; окно 40 с, ровная 0.6 ёмкости ячейки, общая интенсивность класса (fixed) s 2.5/с, l 0.8/с, x 0.5/с, перегрузка 2 ёмкости в окне min(150 с, max(окно, 1.5 × предел / ёмкость)), после перегрузки — ровная 20 с; предел незавершённых UPLOAD_MAX_UNFINISHED=60
- Тела: s — noise 320 × 200, 192323 байт, SHA-256
dd245db29b537d42…, l — noise 1800 × 1800, 9724823 байт, SHA-256 cd5dd6eae6c4a6c8…, x — flat 6000 × 6000, 119755 байт, SHA-256 0652f72ddb1d2401…
- Стенд: LB, 2 реплики по 1 CPU / 512m, worker 2 CPU / 1536m (
RENDER_MEMORY_MB=768), брокер 1 CPU / 512m, S3 1 CPU / 512m
- Пропускная — ready/с фазы ёмкости: N тел ждут в брокере, отсчёт — от строки
broker consuming worker до последнего ready. Время до ready — attachment_jobs.updated_at − attachments.created_at (часы PostgreSQL); queue lag — waited журнала worker (приём → захват). Пик worker — memory.peak cgroup контейнера за ячейку (контейнер новый на ячейку), пик рендера — наибольший render_peak_kib. Незавершённых — точный счёт по созданию и завершению заданий. Восстановление — от конца окна перегрузки до последнего ready. Значения — медиана (min–max) повторов
Класс s
| Настройка |
Пропускная, гот./с |
CPU worker, ядер |
p95 до ready (0,6 ёмкости), с |
queue lag p95, с |
p95 fixed, с |
Окно перегрузки, с |
429 за окно, % |
429 после предела, % |
Retry-After 5 / 1 |
Макс. незавершённых |
Восстановление, с |
p95 после, с |
Пик worker, MiB |
Пик рендера, MiB |
failed / missing |
Пометки |
| c4p4 |
13.413 |
1.87 |
0.76 |
0.51 |
0.65 |
40 |
45 |
51 |
488 / 0 |
60 |
4.2 |
0.76 |
146 |
98 (97–98) |
0 / 0 |
— |
| c2p32 |
13.577 |
1.77 |
0.66 |
0.50 |
0.68 |
40 |
45 |
50 |
491 / 0 |
60 |
4.3 |
0.65 |
116 |
98 (97–98) |
0 / 0 |
— |
Класс l
| Настройка |
Пропускная, гот./с |
CPU worker, ядер |
p95 до ready (0,6 ёмкости), с |
queue lag p95, с |
p95 fixed, с |
Окно перегрузки, с |
429 за окно, % |
429 после предела, % |
Retry-After 5 / 1 |
Макс. незавершённых |
Восстановление, с |
p95 после, с |
Пик worker, MiB |
Пик рендера, MiB |
failed / missing |
Пометки |
| c4p4 |
4.025 |
1.58 |
1.67 |
0.83 |
1.02 |
40 |
0 |
— |
0 / 0 |
14 |
0.0 |
— |
407 |
178 (176–178) |
14 / 0 |
5xx failed |
Класс x
| Настройка |
Пропускная, гот./с |
CPU worker, ядер |
p95 до ready (0,6 ёмкости), с |
queue lag p95, с |
p95 fixed, с |
Окно перегрузки, с |
429 за окно, % |
429 после предела, % |
Retry-After 5 / 1 |
Макс. незавершённых |
Восстановление, с |
p95 после, с |
Пик worker, MiB |
Пик рендера, MiB |
failed / missing |
Пометки |
| c2p2 |
2.968 |
1.93 |
1.15 |
0.48 |
1.14 |
40 |
27 |
52 |
65 / 0 |
60 |
20.8 |
1.16 |
669 |
300 (299–300) |
0 / 0 |
— |
Гипотезы
Тексты и пороги — REPORT.md, «Очередь: гипотезы» (записаны до замеров); граница незавершённых — предел 60 + места загрузок стенда 8.
| Гипотеза |
Итог |
Числа |
| Q1 |
нет данных |
l: нет ячеек c1p1, c2p2 и c4p4; x: нет ячеек c1p1, c2p2 и c4p4 |
| Q2 |
нет данных |
s: нет ячеек c2p2 и c2p32; l: нет ячеек c2p2 и c2p32; x: нет ячеек c2p2 и c2p32 |
| Q3 |
нет данных |
x: нет пиков c1p1 и c4p4; s: нет пиков c1p1 и c4p4 |
| Q4 |
опровергнута |
макс. незавершённых 60 (граница 60 + 8 = 68); 429 после предела: min 50 % (порог 30%) в 3 ячейках; за всё окно 0%–45%; 5xx 308; предел не достигнут: c4p4-l-r1 |
| Q5 |
нет данных |
3 ячеек; худшее опустошение — 0.67 границы, худший p95 после — 0.58 границы; failed + missing 0; c4p4-l-r1: нет чисел |
- рекомендация (наименьший p95 фазы fixed при пике worker ≤ 80% лимита, 1229 MiB; p95 в пределах 10% — меньший пик): s — c2p32 (p95 fixed 0.68 с, пропускная 13.577 гот./с, пик 116 MiB; p95 fixed: c4p4 0.65 с, c2p32 0.68 с); l — c4p4 (p95 fixed 1.02 с, пропускная 4.025 гот./с, пик 407 MiB; p95 fixed: c4p4 1.02 с); x — c2p2 (p95 fixed 1.14 с, пропускная 2.968 гот./с, пик 669 MiB; p95 fixed: c2p2 1.14 с)