make bench_uploads TELEMETRY=on (label baseline) and make bench_queue
TELEMETRY=on QUEUE_LABEL=baseline4 on b3a5ab8 for the coverage
exclusions; record last-step decisions and draft report sections.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
14 KiB
14 KiB
Профиль загрузок: метка baseline
- Статус: complete
- Commit:
b3a5ab8 - Профиль
uploads: варианты «до», «без лимита», «с лимитом» (образ «до» — commit9cc6c0c); клиенты 1, 10, 20, 40; повторов 3; окно 20 с после 3 с разгона - Тела: 1MiB — 1048276 байт (1024 × 341), SHA-256
d65ca4573a4064ee…, 10MiB — 10479107 байт (1024 × 3409), SHA-256a8f0ef17afaf6046… - Реплика 1 CPU / 512m без swap, буфер приёма
4096 131072 524288; S3 1 CPU / 512m; LB 1 CPU / 256m. Обработка не запущена: задания ждут в PostgreSQL - Код успеха: «до» — 202, «без лимита» — 202, «с лимитом» — 202 (столбец
s201runs.csvсчитает код варианта, его называетsuccess_code) - Пик —
memory.peakcgroup, сброшенный через свой дескриптор перед нагрузкой (peak_source= reset); без сброса — наибольшая выборка раз в 0.2 с (пометкаpeak_sampled). Память до окна — первая выборка. Ответы по кодам — за весь прогон, загрузок/с и перцентили — по загрузкам окна. Значения — медиана (min–max) повторов - Посторонние контейнеры в VM во время замера: нет
- Телеметрия стенда включена (TELEMETRY=on): SDK реплики с настройками рабочего стенда, Collector, Prometheus, Loki и Tempo рабочего стенда; вариант «до» — образ кода без SDK, его сравнение с остальными вариантами смешанное (с телеметрией против без неё)
Ячейки
«Пик старта» — memory.peak реплики до сброса (с её запуска: фиктивный хэш пароля, разогревающая загрузка); пик окна его не включает.
| Вариант | Тело | C | Пик старта, MiB | До окна, MiB | Пик, MiB | anon, MiB | sock, MiB | OOM | Успех | 429 | 5xx | ошибка соединения | Загрузок/с | p50, мс | p95, мс | S3 пик, MiB | S3 anon, MiB | LB пик, MiB | Пометки |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| до | 10MiB | 1 | 154.6 (154.3–154.8) | 106.3 (106.1–106.8) | 122.3 (122.1–122.4) | 112.6 (111.9–112.6) | 4.0 (4.0–4.1) | 0/3 | 262 (252–264) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 11.30 (10.85–11.50) | 81 (81–83) | 110 (108–138) | 517.6 (516.8–518.5) | 238.1 (236.5–244.7) | 28.3 (27.8–30.4) | — |
| до | 10MiB | 10 | 154.4 (153.9–154.5) | 106.7 (106.7–107.5) | 171.6 (171.0–171.8) | 145.7 (145.4–145.9) | 17.8 (17.3–18.8) | 0/3 | 259 (233–266) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 10.85 (9.80–11.20) | 885 (872–925) | 1232 (1160–1332) | 517.3 (515.5–517.4) | 269.0 (259.6–272.2) | 33.8 (33.6–34.7) | — |
| до | 10MiB | 20 | 154.6 (154.5–154.7) | 106.5 (106.2–106.8) | 179.8 (179.2–180.0) | 148.8 (148.0–149.2) | 21.9 (20.5–23.9) | 0/3 | 267 (258–273) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 10.80 (10.40–11.25) | 1852 (1798–1982) | 2096 (2016–2225) | 517.4 (516.3–519.4) | 269.2 (261.1–283.2) | 39.8 (39.7–40.2) | — |
| до | 10MiB | 40 | 154.7 (154.7–154.9) | 106.4 (106.3–107.4) | 184.1 (183.2–184.4) | 153.1 (153.0–153.8) | 19.8 (18.1–21.8) | 0/3 | 259 (258–259) | 460 (455–460) | 0 (0–0) | 0 (0–0) | 10.50 (10.45–10.70) | 1894 (1864–1952) | 2239 (2196–2246) | 518.0 (517.5–518.3) | 260.6 (253.3–269.4) | 50.0 (49.7–50.2) | — |
| до | 1MiB | 1 | 154.4 (154.4–154.6) | 106.4 (106.3–107.3) | 110.8 (110.7–111.0) | 102.5 (102.5–102.8) | 0.9 (0.9–0.9) | 0/3 | 1549 (1521–1570) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 67.25 (66.15–68.40) | 14 (14–14) | 16 (16–16) | 513.0 (512.9–513.0) | 228.0 (186.3–230.3) | 28.5 (28.4–28.7) | — |
| до | 1MiB | 10 | 154.4 (154.3–154.5) | 106.8 (106.3–107.2) | 121.3 (121.2–121.4) | 108.5 (108.5–108.7) | 4.5 (4.3–4.9) | 0/3 | 2735 (2730–2780) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 119.55 (118.40–120.50) | 82 (80–83) | 114 (110–116) | 514.9 (514.8–515.0) | 224.2 (217.9–236.8) | 32.5 (31.4–34.5) | — |
| до | 1MiB | 20 | 154.2 (154.0–154.8) | 106.9 (106.3–107.0) | 129.6 (129.0–131.1) | 111.6 (111.0–112.3) | 9.7 (9.7–9.8) | 0/3 | 2767 (2713–2857) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 119.80 (116.90–124.70) | 162 (158–164) | 197 (192–228) | 515.2 (514.7–515.3) | 228.5 (225.7–229.2) | 35.5 (35.1–35.5) | — |
| до | 1MiB | 40 | 154.2 (154.2–154.7) | 106.6 (106.1–107.1) | 134.9 (134.4–135.1) | 116.3 (116.2–117.3) | 10.0 (9.7–10.7) | 0/3 | 2819 (2743–2834) | 460 (460–460) | 0 (0–0) | 0 (0–0) | 122.90 (118.65–123.85) | 161 (160–161) | 193 (191–220) | 514.9 (514.8–515.1) | 223.5 (221.6–232.8) | 50.4 (50.3–50.5) | — |
| без лимита | 10MiB | 1 | 162.6 (162.6–162.6) | 114.8 (114.6–115.0) | 131.8 (131.7–131.9) | 120.9 (120.8–121.1) | 4.1 (4.0–4.1) | 0/3 | 255 (250–262) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 11.15 (10.85–11.45) | 84 (83–85) | 110 (109–136) | 516.2 (515.5–518.3) | 239.1 (235.1–240.5) | 29.8 (28.1–30.0) | — |
| без лимита | 10MiB | 10 | 162.4 (162.1–164.1) | 114.9 (114.8–117.3) | 238.0 (234.3–239.0) | 213.5 (213.3–215.8) | 14.5 (12.6–15.7) | 0/3 | 209 (209–210) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 8.90 (8.85–9.00) | 1093 (1059–1104) | 1523 (1520–1595) | 518.3 (516.8–519.0) | 332.8 (329.8–364.9) | 29.8 (28.0–32.2) | — |
| без лимита | 10MiB | 20 | 162.4 (162.1–164.4) | 115.0 (114.9–116.9) | 343.9 (341.9–344.1) | 316.5 (316.3–318.3) | 14.7 (13.5–19.2) | 0/3 | 224 (215–225) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 9.35 (8.85–9.45) | 2142 (2080–2210) | 2593 (2580–2700) | 520.0 (515.9–521.3) | 342.9 (340.3–360.0) | 35.5 (34.5–38.6) | — |
| без лимита | 10MiB | 40 | 162.9 (162.4–164.3) | 115.5 (115.4–116.6) | 509.1 (506.9–509.2) | 495.2 (490.1–496.3) | 13.4 (12.9–17.4) | 3/3 | 0 (0–0) | 0 (0–0) | 844 (840–880) | 0 (0–0) | 0.00 (0.00–0.00) | — | — | 184.4 (166.1–196.6) | 163.1 (150.5–171.1) | 50.7 (50.3–50.9) | oom peak_sampled |
| без лимита | 1MiB | 1 | 162.7 (162.6–162.8) | 114.8 (114.6–115.6) | 122.2 (122.2–122.7) | 113.4 (112.9–113.6) | 0.9 (0.9–0.9) | 0/3 | 1446 (1438–1478) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 62.80 (62.50–64.25) | 15 (15–15) | 19 (18–19) | 513.0 (513.0–513.0) | 217.4 (187.9–220.9) | 28.4 (27.5–30.4) | — |
| без лимита | 1MiB | 10 | 162.7 (162.4–162.8) | 115.1 (114.8–115.1) | 139.2 (139.1–139.7) | 125.2 (125.0–125.6) | 4.2 (3.7–4.4) | 0/3 | 2778 (2736–2798) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 120.80 (119.35–121.90) | 82 (80–82) | 119 (114–127) | 517.5 (517.1–518.2) | 226.9 (224.0–233.1) | 33.5 (28.7–34.0) | — |
| без лимита | 1MiB | 20 | 162.3 (162.2–162.5) | 115.3 (114.7–115.3) | 148.3 (148.2–148.7) | 136.0 (135.8–137.6) | 6.5 (4.8–6.6) | 0/3 | 2815 (2804–2843) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 122.35 (122.20–123.85) | 161 (160–161) | 204 (202–204) | 516.5 (515.6–516.8) | 224.2 (219.9–224.7) | 35.1 (34.8–35.4) | — |
| без лимита | 1MiB | 40 | 162.7 (162.2–162.8) | 114.8 (114.7–115.2) | 167.6 (166.8–168.5) | 154.4 (154.4–155.2) | 10.4 (9.1–12.9) | 0/3 | 2776 (2758–2835) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 120.30 (119.35–123.05) | 318 (312–321) | 490 (472–495) | 516.4 (515.1–520.5) | 227.8 (224.6–231.2) | 50.1 (49.9–50.4) | — |
| с лимитом | 10MiB | 1 | 164.0 (162.4–164.4) | 116.7 (115.3–116.8) | 133.4 (131.5–133.6) | 122.9 (121.0–123.0) | 4.1 (4.0–4.1) | 0/3 | 255 (252–255) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 11.00 (10.90–11.10) | 85 (83–85) | 115 (109–131) | 518.1 (516.3–518.2) | 238.6 (238.0–243.4) | 28.0 (27.9–28.2) | — |
| с лимитом | 10MiB | 10 | 164.3 (162.8–164.6) | 116.1 (114.3–116.8) | 182.6 (180.5–183.2) | 156.1 (154.7–156.3) | 15.8 (14.8–18.0) | 0/3 | 249 (246–264) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 10.40 (10.40–11.15) | 906 (880–921) | 1286 (1116–1313) | 521.5 (521.3–521.9) | 271.9 (267.5–275.1) | 33.8 (32.8–35.1) | — |
| с лимитом | 10MiB | 20 | 162.8 (162.3–164.5) | 115.4 (114.5–116.6) | 189.4 (189.2–190.6) | 158.0 (158.0–159.4) | 21.7 (20.9–22.5) | 0/3 | 258 (245–269) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 10.50 (10.00–10.95) | 1886 (1818–2013) | 2271 (2173–2292) | 517.5 (515.4–520.1) | 265.6 (265.1–273.4) | 41.6 (41.6–43.3) | — |
| с лимитом | 10MiB | 40 | 162.5 (162.3–162.7) | 114.8 (114.7–114.8) | 193.6 (193.4–194.1) | 162.0 (161.9–163.2) | 23.1 (20.1–23.8) | 0/3 | 256 (249–267) | 450 (450–454) | 0 (0–0) | 0 (0–0) | 10.40 (10.25–11.00) | 1908 (1794–1973) | 2216 (2097–2320) | 520.3 (516.6–520.3) | 262.9 (251.0–294.8) | 50.1 (49.7–50.3) | — |
| с лимитом | 1MiB | 1 | 162.6 (162.5–162.8) | 115.0 (114.9–115.3) | 122.2 (121.7–122.3) | 113.1 (112.6–113.2) | 0.9 (0.5–0.9) | 0/3 | 1447 (1395–1448) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 62.95 (60.40–63.10) | 15 (15–15) | 18 (18–20) | 513.0 (513.0–513.0) | 228.6 (225.4–229.3) | 28.2 (28.2–28.2) | — |
| с лимитом | 1MiB | 10 | 162.7 (162.5–164.2) | 115.6 (114.6–117.2) | 133.5 (133.1–135.0) | 119.6 (119.5–121.7) | 4.5 (4.2–5.2) | 0/3 | 2510 (2501–2519) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 108.65 (108.40–109.10) | 89 (86–89) | 124 (123–143) | 515.1 (514.8–515.1) | 220.5 (219.4–228.6) | 32.0 (30.8–32.8) | — |
| с лимитом | 1MiB | 20 | 162.7 (162.4–164.2) | 115.3 (115.3–117.0) | 142.1 (141.7–143.4) | 123.2 (122.9–124.9) | 9.5 (9.0–10.1) | 0/3 | 2565 (2527–2595) | 0 (0–0) | 0 (0–0) | 0 (0–0) | 110.65 (109.25–112.50) | 176 (175–179) | 218 (212–234) | 515.2 (514.9–515.3) | 224.2 (222.0–224.8) | 35.9 (35.0–36.0) | — |
| с лимитом | 1MiB | 40 | 162.5 (162.4–162.6) | 115.1 (114.6–115.3) | 147.1 (146.9–147.2) | 127.8 (127.3–128.5) | 10.0 (9.2–10.1) | 0/3 | 2487 (2401–2576) | 460 (460–460) | 0 (0–0) | 0 (0–0) | 107.30 (104.05–112.20) | 183 (175–185) | 229 (222–249) | 514.9 (514.9–515.0) | 225.5 (222.1–230.7) | 52.3 (50.0–54.7) | — |
Сценарии спеков
attachments, «Одна копия тела при записи в S3» (C = 10, 10MiB): рост пика над памятью до окна — «без лимита» — 1.21 тела на загрузку; «до» — 0.64 тела на загрузку (порог «без лимита» — 1,5 тела; «до» — справочно: что у кода доupload-memoryбольше, показано в отчёте лабы 4).attachments, «Память не растёт с числом загрузок» («с лимитом», 10MiB): пик реплики C=10 182.6, C=20 189.4, C=40 193.6 MiB (сверх C=10, MiB на клиента: C=20 0.68, C=40 0.37), sock C=10 15.8, C=20 21.7, C=40 23.1 MiB, LB C=10 33.8, C=20 41.6, C=40 50.1 MiB; OOM 0, 5xx 0, 429 1354.load-balancing, «Буферы соединений ограничены» («с лимитом», 10MiB, C = 1 → 40): пик LB (50.1 − 28.0) / 39 = 0.57 MiB на клиента; sock (23.1 − 4.1) / 39 = 0.49 MiB на клиента; сумма 1.05 (порог 1 MiB на клиента), OOM при C = 40 0/3; выполнен — нет.
Гипотезы
Гипотезы сформулированы в лабе 4 (design change upload-memory, openspec/changes/archive/2026-10-22-upload-memory/design.md); здесь — только их проверка числами ячеек тела 10MiB, лимит реплики 512 MiB. Часть H2 про «до» ждёт код без мест загрузки: если они есть в commit «до» из шапки, её итог о коде до upload-memory ничего не говорит.
| Гипотеза | Утверждение | Числа | Выполнена |
|---|---|---|---|
| H1 | «с лимитом»: пик при 10 MiB и C = 10, 20, 40 ≤ половины лимита; сверх C = 10 — ≤ 1 MiB на клиента; OOM и 5xx нет, лишние — 429 | пик, MiB: C=10 182.6, C=20 189.4, C=40 193.6 (половина лимита 256); сверх C=10, MiB на клиента: C=20 0.68, C=40 0.37; OOM 0, 5xx 0, 429 1354 | да |
| H2 | «без лимита»: пик растёт на ~1,2–1,3 тела на клиента, 40 × 10 MiB — OOM; «до» — ~2,1 тела и OOM при 20 × 10 MiB | без лимита C=10: 1.21 тела/клиента, OOM 0/3; без лимита C=20: 1.14 тела/клиента, OOM 0/3; без лимита C=40: — тела/клиента, OOM 3/3; до C=10: 0.64 тела/клиента, OOM 0/3; до C=20: 0.37 тела/клиента, OOM 0/3; до C=40: 0.19 тела/клиента, OOM 0/3 | нет |
| H3 | успешных загрузок в секунду при C ≥ 10: «с лимитом» ≥ 90 % «без лимита» на тех же C, пока тот жив | 10MiB C=10: 10.40 / 8.90 = 117%; 10MiB C=20: 10.50 / 9.35 = 112%; 1MiB C=10: 108.65 / 120.80 = 90%; 1MiB C=20: 110.65 / 122.35 = 90%; 1MiB C=40: 107.30 / 120.30 = 89% | нет |
| H4 | 503 из-за срока записи в S3 нет ни в одном варианте, пока реплика жива | 503 в 69 прогонах без OOM: 0 | да |