Поочерёдная замена реплик под нагрузкой: метка attachments
- Статус: complete
- Commit:
e1f8531
- Профиль
rollout: 2 реплики за HAProxy; замена с образа commit e1161f7 на образ текущего checkout (scripts/rolling-update.sh); 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); окна: 15 с до запуска скрипта, бюджет замены 90 с, ещё 15 с; порог доли успешных 99%
- Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m, сэмплер 0.25 CPU / 128m, k6 без лимита
- Посторонние контейнеры в VM во время замера: нет
Время — секунды на часах ВМ Docker от начала замены (создание контейнера миграции). Шаги — события Docker (создание и старт новой реплики, SIGTERM, выход и удаление старой) и журнал HAProxy (UP новой, drain и maint старой, возврат слота в ready). Ответы — отметки k6 при отправке; «старые» и «новые» — по X-Instance-Id контейнеров до и после замены. Окно замены — от начала до удаления последней старой реплики. Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено ключей.
| Замена, с |
Сборка / миграция, с |
Ревизия до → после |
Ошибки до / во время / после |
Мин. доля успешных |
Секунд ниже порога |
Успешных в секунду: до / мин. во время |
p95: до / макс. во время, мс |
Первый ответ новой / последний старой, с |
Ответов старых после дренажа |
Повтор записей |
Сообщений = ключей |
Пометки |
| 8.67 |
0 / 2 |
e656d6bbe1a4 → ef25d50b01a8 |
0 / 0 / 0 |
1 |
0 |
200 / 200 |
3 / 31 |
3.72 / 8.01 |
0 |
0 → 0 |
12001 = 12001 |
— |
Шаги по репликам
| Шаг |
Новая (слот) |
Старая (слот) |
Новая создана, с |
Новая UP, с |
Старт → UP, с |
Дренаж, с |
Остановка, с |
Старая удалена, с |
Слот ready, с |
Замена целиком, с |
Ошибок за шаг |
Ответов старой после дренажа |
| 1 |
7166deef7426 (api-3) |
4eb2a2181418 (api-1) |
1.69 |
3.71 |
1.93 |
0.14 |
0.35 |
4.64 |
5.12 |
2.95 |
0 |
0 |
| 2 |
d674bcd148aa (api-1) |
18a453b3a26c (api-2) |
5.29 |
7.56 |
2.18 |
0.14 |
0.4 |
8.67 |
10.15 |
3.38 |
0 |
0 |
Ресурсы по окнам замены
Ресурсы — сэмплер bench/sampler.sh в режиме scan (свой контейнер без сети, лимит 0,25 CPU / 128 МиБ): раз в секунду счётчики cgroup каждого контейнера стенда, k6 и самого сэмплера и /proc/stat ВМ, на тех же часах ВМ, что шкала. Ячейка — среднее CPU за окно (CPU-секунды / длина окна, ядер) / наибольшее посекундное: CPU интервала между отсчётами / его длина по всем интервалам, задевающим окно, включая граничный (у заморозки — только с CPU в окне); строка граничного интервала в samples.csv помечена соседним окном (окно строки — по концу интервала, у заморозки — по концу незамороженной части); пик памяти cgroup (memory.current, с кэшем файлов) по отсчётам, МиБ; «(N с)» — сколько секунд окна контейнер существовал, если меньше окна; «нет» — контейнера не было ни в одном отсчёте. API всего — сумма по репликам, пик — наибольшая сумма памяти на одном отсчёте. ВМ — занятые ядра ВМ Docker целиком (в них и k6, и сэмплер). Полные значения — resources.csv, посекундные — samples.csv.
Окна (секунды от начала замены): до — от первого запроса + 2 с (разгон k6) до первого обращения скрипта к стенду (exec_start в событиях проекта, кроме проверок здоровья контейнеров); подготовка — проверки скрипта и сборка образа до создания контейнера миграции; замена — до удаления последней старой реплики; после — до отправки последнего запроса. Старые и новые реплики — каждая отдельно со своим X-Instance-Id; на пике замены работают три реплики.
| Компонент |
до (-13.96…-0.98 с) |
подготовка (-0.98…0 с) |
замена (0…8.67 с) |
после (8.67…104.04 с) |
старая 18a453b3a26c |
0.18 / 0.22; 114 |
0.22 / 0.23; 114 |
0.18 / 0.23; 115 |
0.00 / — (0 с) |
старая 4eb2a2181418 |
0.21 / 0.24; 115 |
0.26 / 0.27; 115 |
0.11 / 0.27; 115 (4.28 с) |
0.00 / — (0 с) |
новая 7166deef7426 |
0.00 / — (0 с) |
0.00 / — (0 с) |
0.25 / 1.02; 111 (6.9 с) |
0.20 / 0.25; 116 |
новая d674bcd148aa |
0.00 / — (0 с) |
0.00 / — (0 с) |
0.14 / 1.01; 105 (3.29 с) |
0.18 / 0.31; 116 |
| API всего |
0.38 / 0.43; 229 |
0.49 / 0.51; 229 |
0.68 / 1.57; 333 |
0.38 / 0.51; 232 |
миграция 605ec15280ab |
0.00 / — (0 с) |
0.00 / — (0 с) |
0.07 / 0.73; 67 (1.18 с) |
0.00 / — (0 с) |
PostgreSQL 8b009799b525 |
0.06 / 0.08; 137 |
0.07 / 0.07; 137 |
0.08 / 0.12; 167 |
0.07 / 0.10; 192 |
HAProxy b25279b9e3cc |
0.02 / 0.03; 32 |
0.04 / 0.05; 33 |
0.05 / 0.09; 32 |
0.02 / 0.06; 37 |
Valkey 7925aca662be |
0.01 / 0.02; 13 |
0.01 / 0.01; 13 |
0.01 / 0.02; 13 |
0.01 / 0.02; 14 |
k6 7e627d7d6b77 |
0.08 / 0.27; 351 |
0.08 / 0.08; 351 |
0.09 / 0.26; 400 |
0.07 / 0.29; 455 |
сэмплер 58edaf59afbc |
0.00 / 0.00; 2 |
0.00 / 0.00; 2 |
0.00 / 0.00; 2 |
0.00 / 0.00; 2 |
| ВМ |
0.75 / 1.21 |
1.86 / 2.20 |
1.57 / 2.36 |
0.73 / 1.39 |
CPU на успешный запрос до и после замены, мкс
CPU компонента × 10⁶ / успешных в секунду в окнах до и после: две реплики одной версии, скрипт не работает. В подготовке и замене CPU на запрос не считается: CPU там идёт на сборку образа, миграцию, запуск третьей реплики, дренаж и остановку старой — цену процедуры, а не запросов; там — только абсолютные числа выше. Смесь (50 % записи, 50 % чтения страницы чата из 1 000 сообщений) другая, чем у серий трека 1: с их CPU на запрос числа напрямую не сравниваются.
| Компонент |
до |
после |
| API всего |
1920 |
1900 |
| PostgreSQL |
286 |
340 |
| HAProxy |
99 |
88 |
| Valkey |
38 |
36 |
| k6 |
392 |
338 |
| сэмплер |
14 |
14 |
| ВМ |
3730 |
3630 |
Успешных в секунду по окнам: до 199.9, подготовка 200.4, замена 200.0, после 200.0.
Контейнеры api до замены
| Контейнер |
X-Instance-Id |
Образ (тег) |
Конфигурация образа |
| mtusi-bench-api-1 |
4eb2a2181418 |
mtusi-messenger:bench |
sha256:70160a65fecc… |
| mtusi-bench-api-2 |
18a453b3a26c |
mtusi-messenger:bench |
sha256:70160a65fecc… |
Контейнеры api после замены
| Контейнер |
X-Instance-Id |
Образ (тег) |
Конфигурация образа |
| mtusi-bench-api-3 |
7166deef7426 |
mtusi-messenger:bench |
sha256:4269a7935b42… |
| mtusi-bench-api-4 |
d674bcd148aa |
mtusi-messenger:bench |
sha256:4269a7935b42… |
Шкала вокруг замены
Полная шкала — timeline.csv.
| с от начала |
Записи ok / ош |
Чтения ok / ош |
Коды ошибок |
Доля успешных |
p50 / p95, мс |
Старые / новые ok |
Ответы реплик |
| -3 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 3 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| -2 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 3 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| -1 |
100 / 0 |
100 / 0 |
— |
1 |
3 / 4 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| 0 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 5 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| 1 |
100 / 0 |
100 / 0 |
— |
1 |
3 / 5 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| 2 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
200 / 0 |
18a453b3a26c:100 4eb2a2181418:100 |
| 3 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
181 / 19 |
18a453b3a26c:91 4eb2a2181418:90 7166deef7426:19 |
| 4 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
101 / 99 |
18a453b3a26c:98 4eb2a2181418:3 7166deef7426:99 |
| 5 |
100 / 0 |
100 / 0 |
— |
1 |
3 / 31 |
100 / 100 |
18a453b3a26c:100 7166deef7426:100 |
| 6 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
100 / 100 |
18a453b3a26c:100 7166deef7426:100 |
| 7 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 6 |
86 / 114 |
18a453b3a26c:86 7166deef7426:85 d674bcd148aa:29 |
| 8 |
100 / 0 |
100 / 0 |
— |
1 |
3 / 5 |
1 / 199 |
18a453b3a26c:1 7166deef7426:100 d674bcd148aa:99 |
| 9 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 3 |
0 / 200 |
7166deef7426:100 d674bcd148aa:100 |
| 10 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
0 / 200 |
7166deef7426:100 d674bcd148aa:100 |
| 11 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 4 |
0 / 200 |
7166deef7426:100 d674bcd148aa:100 |
| 12 |
100 / 0 |
100 / 0 |
— |
1 |
2 / 3 |
0 / 200 |
7166deef7426:100 d674bcd148aa:100 |