5.2 KiB
5.2 KiB
Медленные загрузки во время make rolling_update
- Дата: 2026-10-22, 12:24:06–12:24:39 UTC.
- Commit:
ce1ae2c(код и LB —97a4be4, changeupload-memory). - Спек
load-balancing, «Вывод реплики из балансировщика перед остановкой», сценарий «Загрузка во время дренажа»; design changeupload-memory, решение 7:ROLLOUT_DRAIN_TIMEOUT90 с — большеtimeout serverпути загрузки (30 с) и наибольшей длительности загрузки (≈ 73 с). - Стенд: рабочий
mtusi-lab4, две реплики API за HAProxy. LB на127.0.0.1:8090, а не на 8080 из.env: порт 8080 хоста занят контейнером другого проекта (domains-api-1), LB поднят разовоAPP_OUT_PORT=8090 docker compose up -d --force-recreate --no-deps haproxy;.envне менялся.make rolling_updateLB не пересоздаёт.
Разовый скрипт rollout_upload.py (scratchpad, httpx и images.py
набора student-tests): синтетические пользователь и чат; две загрузки
настоящего PNG из шума (1 048 276 байт) стартуют одновременно за
threading.Barrier, у каждой своё соединение — round-robin LB отдаёт
их разным репликам. Тело идёт 40 частями без Content-Length: первая
загрузка ~20 с, вторая ~26 с (меньше срока тела 30 с). Через 4 с после
старта — make rolling_update. После ответа оригинал скачивается и
сверяется по SHA-256.
До
mtusi-lab4-api-17 ab84c041e373 Up 6 hours (healthy) 8080/tcp
mtusi-lab4-api-18 37223e9a9593 Up 6 hours (healthy) 8080/tcp
mtusi-lab4-haproxy-1 4c709887f9e4 Up 6 hours (healthy) 127.0.0.1:8090->8080/tcp
Ход (строки скрипта загрузок и scripts/rolling-update.sh по времени)
12:24:06.818Z upload 1: sending 1048276 bytes over ~20 s
12:24:06.818Z upload 2: sending 1048276 bytes over ~26 s
12:24:11 rolling-update: start: 2 replicas ab84c041e373 37223e9a9593, image mtusi-messenger:lab4 from working tree
12:24:14 rolling-update: build done in 3s
12:24:16 rolling-update: migrate done in 2s
12:24:16 rolling-update: replica 1/2: started new 3b96c600b25a
12:24:19 rolling-update: replica 1/2: new 3b96c600b25a addr 192.168.0.9 slot api-3 UP in 3s
12:24:19 rolling-update: replica 1/2: drain old ab84c041e373 addr 192.168.0.6 slot api-1
12:24:27.010Z upload 1: 201 in 20.2 s, X-Instance-Id 37223e9a9593, sha256 of download matches: True
12:24:33 rolling-update: replica 1/2: old ab84c041e373 idle after 14s
12:24:33.012Z upload 2: 201 in 26.2 s, X-Instance-Id ab84c041e373, sha256 of download matches: True
different replicas: True
upload script exit=0
12:24:33 rolling-update: replica 1/2: maint slot api-1, stopping old ab84c041e373
12:24:33 rolling-update: replica 1/2: removed old ab84c041e373 (stop 0s, exit 0)
12:24:33 rolling-update: replica 1/2: slot api-1 ready
12:24:34 rolling-update: replica 2/2: started new f6915f9b80dc
12:24:37 rolling-update: replica 2/2: new f6915f9b80dc addr 192.168.0.6 slot api-1 UP in 4s
12:24:37 rolling-update: replica 2/2: drain old 37223e9a9593 addr 192.168.0.5 slot api-2
12:24:37 rolling-update: replica 2/2: old 37223e9a9593 idle after 0s
12:24:37 rolling-update: replica 2/2: maint slot api-2, stopping old 37223e9a9593
12:24:37 rolling-update: replica 2/2: removed old 37223e9a9593 (stop 0s, exit 0)
12:24:38 rolling-update: replica 2/2: slot api-2 ready
12:24:39 rolling-update: done: 2 replicas 3b96c600b25a f6915f9b80dc UP in 28s
После
mtusi-lab4-api-19 3b96c600b25a Up 22 seconds (healthy) 8080/tcp
mtusi-lab4-api-20 f6915f9b80dc Up 5 seconds (healthy) 8080/tcp
mtusi-lab4-haproxy-1 4c709887f9e4 Up 6 hours (healthy) 127.0.0.1:8090->8080/tcp
Вывод
- Загрузка 2 шла на
ab84c041e373, которую замена вывела из LB в 12:24:19 (drain), — через 12 с после начала тела. Дренаж ждал её 14 с (idle after 14s), загрузка получила 201 от той же реплики в 12:24:33.012, и только затем —maintиdocker stop(код 0). Оригинал скачивается с тем же SHA-256. При прежнем сроке дренажа 12 с замена остановила бы реплику посреди загрузки. - Загрузка 1 шла на
37223e9a9593и закончилась 201 в 12:24:27, раньше, чем дошла очередь второй реплики (её дренаж — 12:24:37,idle after 0s): обе реплики приняли по загрузке, обе 201, а сценарий «Загрузка во время дренажа» показан на первой заменяемой реплике. - Замена — 28 с, в конце две новые реплики
UP, LB не пересоздавался.