Files
mtusi2026lab4/evidence/rollout/attachments/summary.md
T
ricoromaandClaude Opus 5.5 6970dad871 docs: re-measure attachments rollout on a clean tree and update report
- bench_rollout label attachments from e1f8531 (dirty: false):
  replacement 8.67 s, 0 errors, 12001 messages = keys
- student_test through LB (197 passed) and failure_checks (24/24)
  after verify fixes
- REPORT: upload memory ~1.2 bodies with fixed mmap threshold,
  strict UTF-8 filename, env does not change attachment limits

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 02:26:35 +03:00

11 KiB
Raw Blame History

Поочерёдная замена реплик под нагрузкой: метка attachments

  • Статус: complete
  • Commit: e1f8531
  • Профиль rollout: 2 реплики за HAProxy; замена с образа commit e1161f7 на образ текущего checkout (scripts/rolling-update.sh); 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); окна: 15 с до запуска скрипта, бюджет замены 90 с, ещё 15 с; порог доли успешных 99%
  • Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m, сэмплер 0.25 CPU / 128m, k6 без лимита
  • Посторонние контейнеры в VM во время замера: нет

Время — секунды на часах ВМ Docker от начала замены (создание контейнера миграции). Шаги — события Docker (создание и старт новой реплики, SIGTERM, выход и удаление старой) и журнал HAProxy (UP новой, drain и maint старой, возврат слота в ready). Ответы — отметки k6 при отправке; «старые» и «новые» — по X-Instance-Id контейнеров до и после замены. Окно замены — от начала до удаления последней старой реплики. Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено ключей.

Замена, с Сборка / миграция, с Ревизия до → после Ошибки до / во время / после Мин. доля успешных Секунд ниже порога Успешных в секунду: до / мин. во время p95: до / макс. во время, мс Первый ответ новой / последний старой, с Ответов старых после дренажа Повтор записей Сообщений = ключей Пометки
8.67 0 / 2 e656d6bbe1a4 → ef25d50b01a8 0 / 0 / 0 1 0 200 / 200 3 / 31 3.72 / 8.01 0 0 → 0 12001 = 12001 —

Шаги по репликам

Шаг Новая (слот) Старая (слот) Новая создана, с Новая UP, с Старт → UP, с Дренаж, с Остановка, с Старая удалена, с Слот ready, с Замена целиком, с Ошибок за шаг Ответов старой после дренажа
1 7166deef7426 (api-3) 4eb2a2181418 (api-1) 1.69 3.71 1.93 0.14 0.35 4.64 5.12 2.95 0 0
2 d674bcd148aa (api-1) 18a453b3a26c (api-2) 5.29 7.56 2.18 0.14 0.4 8.67 10.15 3.38 0 0

Ресурсы по окнам замены

Ресурсы — сэмплер bench/sampler.sh в режиме scan (свой контейнер без сети, лимит 0,25 CPU / 128 МиБ): раз в секунду счётчики cgroup каждого контейнера стенда, k6 и самого сэмплера и /proc/stat ВМ, на тех же часах ВМ, что шкала. Ячейка — среднее CPU за окно (CPU-секунды / длина окна, ядер) / наибольшее посекундное: CPU интервала между отсчётами / его длина по всем интервалам, задевающим окно, включая граничный (у заморозки — только с CPU в окне); строка граничного интервала в samples.csv помечена соседним окном (окно строки — по концу интервала, у заморозки — по концу незамороженной части); пик памяти cgroup (memory.current, с кэшем файлов) по отсчётам, МиБ; «(N с)» — сколько секунд окна контейнер существовал, если меньше окна; «нет» — контейнера не было ни в одном отсчёте. API всего — сумма по репликам, пик — наибольшая сумма памяти на одном отсчёте. ВМ — занятые ядра ВМ Docker целиком (в них и k6, и сэмплер). Полные значения — resources.csv, посекундные — samples.csv.

Окна (секунды от начала замены): до — от первого запроса + 2 с (разгон k6) до первого обращения скрипта к стенду (exec_start в событиях проекта, кроме проверок здоровья контейнеров); подготовка — проверки скрипта и сборка образа до создания контейнера миграции; замена — до удаления последней старой реплики; после — до отправки последнего запроса. Старые и новые реплики — каждая отдельно со своим X-Instance-Id; на пике замены работают три реплики.

Компонент до (-13.96…-0.98 с) подготовка (-0.98…0 с) замена (0…8.67 с) после (8.67…104.04 с)
старая 18a453b3a26c 0.18 / 0.22; 114 0.22 / 0.23; 114 0.18 / 0.23; 115 0.00 / — (0 с)
старая 4eb2a2181418 0.21 / 0.24; 115 0.26 / 0.27; 115 0.11 / 0.27; 115 (4.28 с) 0.00 / — (0 с)
новая 7166deef7426 0.00 / — (0 с) 0.00 / — (0 с) 0.25 / 1.02; 111 (6.9 с) 0.20 / 0.25; 116
новая d674bcd148aa 0.00 / — (0 с) 0.00 / — (0 с) 0.14 / 1.01; 105 (3.29 с) 0.18 / 0.31; 116
API всего 0.38 / 0.43; 229 0.49 / 0.51; 229 0.68 / 1.57; 333 0.38 / 0.51; 232
миграция 605ec15280ab 0.00 / — (0 с) 0.00 / — (0 с) 0.07 / 0.73; 67 (1.18 с) 0.00 / — (0 с)
PostgreSQL 8b009799b525 0.06 / 0.08; 137 0.07 / 0.07; 137 0.08 / 0.12; 167 0.07 / 0.10; 192
HAProxy b25279b9e3cc 0.02 / 0.03; 32 0.04 / 0.05; 33 0.05 / 0.09; 32 0.02 / 0.06; 37
Valkey 7925aca662be 0.01 / 0.02; 13 0.01 / 0.01; 13 0.01 / 0.02; 13 0.01 / 0.02; 14
k6 7e627d7d6b77 0.08 / 0.27; 351 0.08 / 0.08; 351 0.09 / 0.26; 400 0.07 / 0.29; 455
сэмплер 58edaf59afbc 0.00 / 0.00; 2 0.00 / 0.00; 2 0.00 / 0.00; 2 0.00 / 0.00; 2
ВМ 0.75 / 1.21 1.86 / 2.20 1.57 / 2.36 0.73 / 1.39

CPU на успешный запрос до и после замены, мкс

CPU компонента × 10⁶ / успешных в секунду в окнах до и после: две реплики одной версии, скрипт не работает. В подготовке и замене CPU на запрос не считается: CPU там идёт на сборку образа, миграцию, запуск третьей реплики, дренаж и остановку старой — цену процедуры, а не запросов; там — только абсолютные числа выше. Смесь (50 % записи, 50 % чтения страницы чата из 1 000 сообщений) другая, чем у серий трека 1: с их CPU на запрос числа напрямую не сравниваются.

Компонент до после
API всего 1920 1900
PostgreSQL 286 340
HAProxy 99 88
Valkey 38 36
k6 392 338
сэмплер 14 14
ВМ 3730 3630

Успешных в секунду по окнам: до 199.9, подготовка 200.4, замена 200.0, после 200.0.

Контейнеры api до замены

Контейнер X-Instance-Id Образ (тег) Конфигурация образа
mtusi-bench-api-1 4eb2a2181418 mtusi-messenger:bench sha256:70160a65fecc…
mtusi-bench-api-2 18a453b3a26c mtusi-messenger:bench sha256:70160a65fecc…

Контейнеры api после замены

Контейнер X-Instance-Id Образ (тег) Конфигурация образа
mtusi-bench-api-3 7166deef7426 mtusi-messenger:bench sha256:4269a7935b42…
mtusi-bench-api-4 d674bcd148aa mtusi-messenger:bench sha256:4269a7935b42…

Шкала вокруг замены

Полная шкала — timeline.csv.

с от начала Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Старые / новые ok Ответы реплик
-3 100 / 0 100 / 0 — 1 2 / 3 200 / 0 18a453b3a26c:100 4eb2a2181418:100
-2 100 / 0 100 / 0 — 1 2 / 3 200 / 0 18a453b3a26c:100 4eb2a2181418:100
-1 100 / 0 100 / 0 — 1 3 / 4 200 / 0 18a453b3a26c:100 4eb2a2181418:100
0 100 / 0 100 / 0 — 1 2 / 5 200 / 0 18a453b3a26c:100 4eb2a2181418:100
1 100 / 0 100 / 0 — 1 3 / 5 200 / 0 18a453b3a26c:100 4eb2a2181418:100
2 100 / 0 100 / 0 — 1 2 / 4 200 / 0 18a453b3a26c:100 4eb2a2181418:100
3 100 / 0 100 / 0 — 1 2 / 4 181 / 19 18a453b3a26c:91 4eb2a2181418:90 7166deef7426:19
4 100 / 0 100 / 0 — 1 2 / 4 101 / 99 18a453b3a26c:98 4eb2a2181418:3 7166deef7426:99
5 100 / 0 100 / 0 — 1 3 / 31 100 / 100 18a453b3a26c:100 7166deef7426:100
6 100 / 0 100 / 0 — 1 2 / 4 100 / 100 18a453b3a26c:100 7166deef7426:100
7 100 / 0 100 / 0 — 1 2 / 6 86 / 114 18a453b3a26c:86 7166deef7426:85 d674bcd148aa:29
8 100 / 0 100 / 0 — 1 3 / 5 1 / 199 18a453b3a26c:1 7166deef7426:100 d674bcd148aa:99
9 100 / 0 100 / 0 — 1 2 / 3 0 / 200 7166deef7426:100 d674bcd148aa:100
10 100 / 0 100 / 0 — 1 2 / 4 0 / 200 7166deef7426:100 d674bcd148aa:100
11 100 / 0 100 / 0 — 1 2 / 4 0 / 200 7166deef7426:100 d674bcd148aa:100
12 100 / 0 100 / 0 — 1 2 / 3 0 / 200 7166deef7426:100 d674bcd148aa:100