Files
mtusi2026lab4/evidence/uploads/rollout-upload.md
T
2026-10-22 15:39:58 +03:00

5.2 KiB
Raw Blame History

Медленные загрузки во время make rolling_update

  • Дата: 2026-10-22, 12:24:06–12:24:39 UTC.
  • Commit: ce1ae2c (код и LB — 97a4be4, change upload-memory).
  • Спек load-balancing, «Вывод реплики из балансировщика перед остановкой», сценарий «Загрузка во время дренажа»; design change upload-memory, решение 7: ROLLOUT_DRAIN_TIMEOUT 90 с — больше timeout server пути загрузки (30 с) и наибольшей длительности загрузки (≈ 73 с).
  • Стенд: рабочий mtusi-lab4, две реплики API за HAProxy. LB на 127.0.0.1:8090, а не на 8080 из .env: порт 8080 хоста занят контейнером другого проекта (domains-api-1), LB поднят разово APP_OUT_PORT=8090 docker compose up -d --force-recreate --no-deps haproxy; .env не менялся. make rolling_update LB не пересоздаёт.

Разовый скрипт rollout_upload.py (scratchpad, httpx и images.py набора student-tests): синтетические пользователь и чат; две загрузки настоящего PNG из шума (1 048 276 байт) стартуют одновременно за threading.Barrier, у каждой своё соединение — round-robin LB отдаёт их разным репликам. Тело идёт 40 частями без Content-Length: первая загрузка ~20 с, вторая ~26 с (меньше срока тела 30 с). Через 4 с после старта — make rolling_update. После ответа оригинал скачивается и сверяется по SHA-256.

До

mtusi-lab4-api-17 ab84c041e373 Up 6 hours (healthy) 8080/tcp
mtusi-lab4-api-18 37223e9a9593 Up 6 hours (healthy) 8080/tcp
mtusi-lab4-haproxy-1 4c709887f9e4 Up 6 hours (healthy) 127.0.0.1:8090->8080/tcp

Ход (строки скрипта загрузок и scripts/rolling-update.sh по времени)

12:24:06.818Z upload 1: sending 1048276 bytes over ~20 s
12:24:06.818Z upload 2: sending 1048276 bytes over ~26 s
12:24:11 rolling-update: start: 2 replicas ab84c041e373 37223e9a9593, image mtusi-messenger:lab4 from working tree
12:24:14 rolling-update: build done in 3s
12:24:16 rolling-update: migrate done in 2s
12:24:16 rolling-update: replica 1/2: started new 3b96c600b25a
12:24:19 rolling-update: replica 1/2: new 3b96c600b25a addr 192.168.0.9 slot api-3 UP in 3s
12:24:19 rolling-update: replica 1/2: drain old ab84c041e373 addr 192.168.0.6 slot api-1
12:24:27.010Z upload 1: 201 in 20.2 s, X-Instance-Id 37223e9a9593, sha256 of download matches: True
12:24:33 rolling-update: replica 1/2: old ab84c041e373 idle after 14s
12:24:33.012Z upload 2: 201 in 26.2 s, X-Instance-Id ab84c041e373, sha256 of download matches: True
different replicas: True
upload script exit=0
12:24:33 rolling-update: replica 1/2: maint slot api-1, stopping old ab84c041e373
12:24:33 rolling-update: replica 1/2: removed old ab84c041e373 (stop 0s, exit 0)
12:24:33 rolling-update: replica 1/2: slot api-1 ready
12:24:34 rolling-update: replica 2/2: started new f6915f9b80dc
12:24:37 rolling-update: replica 2/2: new f6915f9b80dc addr 192.168.0.6 slot api-1 UP in 4s
12:24:37 rolling-update: replica 2/2: drain old 37223e9a9593 addr 192.168.0.5 slot api-2
12:24:37 rolling-update: replica 2/2: old 37223e9a9593 idle after 0s
12:24:37 rolling-update: replica 2/2: maint slot api-2, stopping old 37223e9a9593
12:24:37 rolling-update: replica 2/2: removed old 37223e9a9593 (stop 0s, exit 0)
12:24:38 rolling-update: replica 2/2: slot api-2 ready
12:24:39 rolling-update: done: 2 replicas 3b96c600b25a f6915f9b80dc UP in 28s

После

mtusi-lab4-api-19 3b96c600b25a Up 22 seconds (healthy) 8080/tcp
mtusi-lab4-api-20 f6915f9b80dc Up 5 seconds (healthy) 8080/tcp
mtusi-lab4-haproxy-1 4c709887f9e4 Up 6 hours (healthy) 127.0.0.1:8090->8080/tcp

Вывод

  • Загрузка 2 шла на ab84c041e373, которую замена вывела из LB в 12:24:19 (drain), — через 12 с после начала тела. Дренаж ждал её 14 с (idle after 14s), загрузка получила 201 от той же реплики в 12:24:33.012, и только затем — maint и docker stop (код 0). Оригинал скачивается с тем же SHA-256. При прежнем сроке дренажа 12 с замена остановила бы реплику посреди загрузки.
  • Загрузка 1 шла на 37223e9a9593 и закончилась 201 в 12:24:27, раньше, чем дошла очередь второй реплики (её дренаж — 12:24:37, idle after 0s): обе реплики приняли по загрузке, обе 201, а сценарий «Загрузка во время дренажа» показан на первой заменяемой реплике.
  • Замена — 28 с, в конце две новые реплики UP, LB не пересоздавался.