scripts/rolling-update.sh (make rolling_update) replaces API replicas one by one: build, migrations once, new replica UP in HAProxy, old replica drained and put into maintenance through the LB runtime API on loopback, then stopped and removed; the slot is reset once DNS drops the address. Expand migration adds messages.instance_id with a lock timeout. The bench rollout profile runs the same script under constant load, starting from the image of an older commit built with git archive. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
Tasks
Как строить — design.md (дальше «решение N»). Что должно получиться —
дельты в specs/. Перед первым файлом слоя прочитать его правило:
balancer.md, docker.md, migrations.md, bench.md,
run-modes.md, repo-layer.md, service-layer.md.
Рабочий стенд mtusi-lab3 до задачи 6.1 не трогать миграциями и
пересборкой. Его база должна остаться на ревизии 7652184b7016, а
реплики — на прежнем образе: это исходное состояние демонстрации
совместимости. Не запускать make run_docker, make upgrade, make revision. Сборка make test_isolated двигает тег
mtusi-messenger:lab3, но не реплики и не базу стенда; задача 6.1 всё
равно собирает прежний образ заново.
Evidence снимается с закоммиченного кода: коммит кода → evidence →
коммит evidence. Замер для отчёта (make bench_rollout) — только после
проверки хоста по брифу, рабочий стенд на время замера остановлен.
1. Приложение: колонка messages.instance_id
-
1.1 Модель
Messageи ревизия alembic по решению 7:instance_id: Mapped[str | None](Text, NULL) с комментарием;- ревизия
added message instance idчерезuv run alembic revision --autogenerateпротив базы на прежней ревизии, только чтение схемы. Затем вручную:SET LOCAL lock_timeout = '5s'первой строкойupgradeи комментарий про expand и contract.
Проверка:
uv run alembic upgrade headиdowngrade -1/upgrade headна временной базе (не рабочей);alembic checkпослеupgrade— без расхождений. -
1.2
insert_message(..., instance_id)в repo и передачаsettings.app.instance_idизMessageService.send_message; DTO и ответ API не меняются. Проверка:make lint; после задачи 5.2 строка сообщения, записанного через API, содержитinstance_id=X-Instance-Idответа.
2. Балансировщик и скрипт замены
-
2.1
infra/haproxy/haproxy.cfg:stats socket ipv4@127.0.0.1:9999 level adminвglobalс комментарием (решение 2). Проверка:haproxy -cв закреплённом образе сAPI_PORT=8080—Configuration file is valid. -
2.2
scripts/rolling-update.shпо решениям 1–6 (исполняемый бит в git). Внутри:- предусловия;
- сборка из рабочего дерева или
ROLLOUT_COMMIT; - миграция один раз,
ROLLOUT_MIGRATE=0— пропуск; - цикл замены: ожидание
healthyиUPпо адресу,drain→scur= 0 →maint→stop→rm→ адрес ушёл →ready; - итоговая проверка;
trapс состояниями решения 5;- строки
HH:MM:SS rolling-update: …с контейнером, слотом и адресом; - секретов не печатает.
Цель
make rolling_update(API_REPLICAS,COMMIT,MIGRATE). Проверка: задачи 5.2 и 6.1–6.2.
3. Профиль rollout стенда bench/
-
3.1
bench/rollout.py(решение 8): разбор строк скрипта, событий Docker проекта и журнала LB по шагам замены; шкала сold_ok/new_ok; окна до, во время и после; строка прогона; строки по репликам;summary.md. Только stdlib, парсеры — изfailover.py. -
3.2
bench/run.py:- профили
rolloutиrollout_quick, поляProfile; --fromдля отладки;- образ прежнего commit через
git archive, тегbench-fromиdocker tag; - общая подготовка с
failover; - запуск
scripts/rolling-update.shс окружением compose стенда; - сбор событий, журнала LB и строк скрипта;
- повтор, сверка, итоговые проверки;
- каталог
evidence/rollout/<метка>/, снятие тега при уборке.
Цели
bench_rollout(ROLLOUT_LABEL ?= baseline) иbench_rollout_quickвMakefile,evidence/rollout/quick-*/в.gitignore. Проверка:make lint;make bench_rollout_quick— код 0, замена двух реплик, сверка сошлась,summary.mdиreplicas.csvс шагами; занятая метка — отказ до стенда. - профили
4. Документы
-
4.1 Правила под решения:
balancer.md— порядок «сборка → миграции», дренаж, состояния слота, сбой, runtime API;migrations.md— новая ревизия,lock_timeout, откат кода без отката схемы;bench.md— профильrollout;run-modes.md— 502 гонки keep-alive остаётся только у остановки без дренажа;docker.md—run_dockerи обновление по решению 9.
AGENTS.md:- команды —
rolling_update,bench_rollout,bench_rollout_quick; - карта кода —
rolling-update.shбез «(лаба 3)»,bench/rollout.py,evidence/rollout/; - «Переходное состояние» — закрытый пункт убрать.
Скилл
run-mtusi-messenger— новая цель. Проверка:grep -n "rolling-update" AGENTS.md .claude/rules/*.md— нет обещаний «будет».
5. Общая проверка кода и коммит
-
5.1
make lint,make check,openspec validate rolling-update --strict,haproxy -c. Проверка: все с кодом 0. -
5.2 Самопроверки на своих стендах, рабочий не трогается:
make test_isolated— новая ревизия на временной базе, smoke и набор;make failure_checks;make bench_rollout_quick;make bench_failover_quick;make bench_quick.
Затем коммит кода (
feat: …). Проверка: все с кодом 0, рабочее дерево чистое.
6. Evidence с commit кода
-
6.1 Совместимость и
make run_dockerна рабочем стенде (решения 6, 7, 9;evidence/rollout/compatibility.md):- реплики на образе
c50b721(git archive), LB пересоздан с новымhaproxy.cfg, ревизия7652184b7016,make test; docker compose build apiиdocker compose --dry-run up -d— исход решения 9;docker compose run --rm migrate— новая ревизия при прежних репликах, затемmake testиmake student_testна них;make rolling_updateподtests/load.py;- откат
make rolling_update COMMIT=c50b721 MIGRATE=0под нагрузкой; - снова
make rolling_update; make testиmake student_test;docker compose psи образы на каждом шаге;instance_idсообщений по версиям.
Исход решения 9 — в
KNOWN_ISSUES.md(иMakefile, если дефект подтвердился). Проверка: в файле на каждом шаге команда, код выхода и наблюдение. - реплики на образе
-
6.2 Отказы скрипта (
evidence/rollout/script-failures.md):- остановленная реплика (
stop-one.sh) иAPI_REPLICAS=3— отказ до сборки; ROLLOUT_READY_TIMEOUT=1— новая удалена, N репликUP;- Ctrl+C во время дренажа — старая доведена до удаления, слоты чистые;
- миграция не получила блокировку (открытая транзакция на
messagesвpsql) — замена не начиналась, повтор после конца транзакции прошёл (на временной базе или до 6.1); - порт 9999 LB из другого контейнера сети — отказ соединения.
Проверка: после каждого случая
make lb_stats— N репликUP, слотовDRAIN/MAINTвне DNS нет. - остановленная реплика (
-
6.3 Регрессия на commit кода (
evidence/tests/rolling-update-checks.md):make test,make student_testчерез LB;make test-persistence ACTION_SCRIPT=scripts/restart.sh;make test-failover ACTION_SCRIPT=scripts/stop-one.shв режимахstopиkill,make replicasмежду ними;- выводы 5.1–5.2.
Проверка: в шапке — спеки, change, дата, commit, стенд, хост.
-
6.4 Хост по брифу: питание, давление на память,
docker ps,docker info,vm_stat(Swapouts) до и после. Затемmake stop,nohup make bench_rolloutс журналом, после — снова рабочий стенд. Проверка:evidence/rollout/baseline/со статусомcomplete, сверка сошлась; плохой хост — Telegram и остановка (бриф). -
6.5
REPORT.mdпо решению 10:- строки доказательств уровня «4» вместо TODO;
- процедура замены;
- раздел профиля
rolloutв «Эксперименты и отказы»; - ограничения;
- ответы на вопросы защиты.
Проверка: у каждой новой строки есть команда, наблюдение и файл; в evidence и отчёте нет паролей, токенов и абсолютных путей домашнего каталога.
-
6.6 Финал:
make lint,openspec validate rolling-update --strict;- отметить задачи, коммит evidence и отчёта (
docs: …); graphify update .;- рабочий стенд
mtusi-lab3поднят, все репликиUP; - рабочее дерево чистое.