diff --git a/REPORT.md b/REPORT.md index e47d1c6e..d016a3e4 100644 --- a/REPORT.md +++ b/REPORT.md @@ -23,6 +23,8 @@ make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh make replicas # вернуть остановленную реплику (те же ID) перед следующим прогоном failover make bench_failover_quick # отказ каждой реплики под нагрузкой на своём стенде mtusi-bench, ~2 мин; полный — make bench_failover +make rolling_update # новый код на реплики без простоя: сборка, миграции один раз, по одной реплике с выводом из LB +make bench_rollout_quick # то же под нагрузкой на своём стенде с образа прежнего commit, ~2 мин; полный — make bench_rollout make stop # остановить; make down — удалить контейнеры, volume с данными остаётся make wipe_data # намеренно удалить учебные данные: только после ввода yes, только проект mtusi-lab3 ``` @@ -197,6 +199,114 @@ Postgres, карточки чатов неизменны, поэтому общ api=$(API_REPLICAS) api`) — тот же контейнер запускается снова, LB включает его после проверок. +### Обновление без простоя и миграции (change `rolling-update`) + +Compose сам rolling update не делает (это `update_config` Swarm), +поэтому замена — свой скрипт `scripts/rolling-update.sh`, цель `make +rolling_update`. Сторонний плагин не используется: это была бы ещё одна +незакреплённая зависимость. Порядок (design `rolling-update`, решения +1–5): + +0. **Предусловия** — ничего не меняют, иначе код 2 и подсказка `make + replicas`: + - работает ровно `API_REPLICAS` реплик, остановленных нет; + - все `UP` в LB; + - для ещё одной реплики есть слот (≤ 8); + - канал управления LB отвечает. +1. **Сборка образа** из рабочего дерева. `COMMIT=` — из файлов + commit через `git archive | docker build`, рабочее дерево не + трогается. +2. **Миграции — один раз**, в контейнере сервиса `migrate`, на новом + образе, до первой новой реплики. Ошибка (в том числе `lock_timeout`) + — код 1, реплики не тронуты. +3. **Одна новая реплика** рядом со старыми: `up -d --no-deps + --no-recreate --scale api=N+1 api`. +4. **Ожидание готовности новой:** `healthy` **и** `UP` в статистике LB + по её адресу. Слот получает адрес из DNS и начинает в `DOWN`, в + распределение попадает через ≤ 1,5 с проверок. Вывести старую по + одному `healthy` — значит на эти 1,5 с остаться с N − 1 репликами. +5. **Вывод старой из LB и удаление:** + - runtime API HAProxy: `drain` — новых запросов нет, начатые + дорабатывают; + - ожидание, пока запросов в полёте не станет 0 (≤ 12 с, больше + `timeout server`); + - `maint`, `docker stop` (graceful, ≤ 10 с), `docker rm`; + - когда адрес ушёл из слота — `ready`. +6. Шаги 3–5 для каждой старой реплики. В конце `API_REPLICAS` реплик + нового образа, все `UP`. + +**Канал управления LB** — `stats socket ipv4@127.0.0.1:9999 level admin` +в `haproxy.cfg`. Он слушает только loopback контейнера LB. Из сети +compose и с хоста его не достать (`evidence/rollout/script-failures.md`, +случай 6), команды идут через `docker compose exec haproxy`. Страница +статистики `:8404` с `stats admin` не годится: она открыта всей сети +compose. Альтернатива — readiness 503 по SIGTERM — отвергнута: +- она меняет поведение остановки, после SIGTERM реплика ещё ≥ 1,5 с + принимала бы запросы; +- остановка удлиняется до 1,5 + 8 с — впритык к `stop_grace_period`; +- ломается срок `stop-one.sh`. + +**Почему слот возвращается в `ready`.** Ручное состояние — свойство +слота, а не реплики. IPAM Docker сразу отдаёт адрес удалённой реплики +следующей, и DNS кладёт её в тот же слот. Это видно в замере: новая +реплика второго шага получила адрес и слот только что удалённой. Слот, +оставленный в `maint`, не пустил бы к ней ни одного запроса. + +**Дренаж убирает одиночный 502** гонки keep-alive. Слот выведен, и LB +не отправляет запросов в соединения, которые uvicorn закрывает по +SIGTERM. Профиль `rollout` под 200 запросами в секунду — 0 ошибок +(раздел «Эксперименты и отказы»). `scripts/stop-one.sh` и профиль +`failover` дренаж не делают намеренно: они имитируют отказ, а не +плановую остановку. + +**Сбой на середине.** Новая реплика не стала `UP` за срок — она +удаляется. Её слот, если DNS уже отдал его, сначала уходит в `maint`. +Новая уже `UP` (в том числе при Ctrl+C) — вывод текущей старой +доводится до удаления. В любом исходе работает `API_REPLICAS` готовых +реплик, слоты без ручного состояния, повторный запуск доводит замену +(`evidence/rollout/script-failures.md`). Автоматического отката нет. +Откат — та же замена на образ прежнего commit без миграций: `make +rolling_update COMMIT= MIGRATE=0`. + +**Миграции однократны и совместимы с работающей версией** (expand / +contract): +- ревизия только расширяет схему: новая таблица, колонка с NULL или + значением по умолчанию, индекс; +- удаление и переименование — отдельной поставкой, когда прежнего кода + не осталось. + +Демонстрация — колонка `messages.instance_id` (`text NULL`, ревизия +`e656d6bbe1a4`): реплика, записавшая сообщение. Наружу она не +отдаётся, контракт не меняется: +- новый код её пишет, без неё упал бы, поэтому миграция обязана идти + до новых реплик; +- прежний код её не знает: вставляет свои колонки (NULL), читает свои. + +Первой строкой ревизии — `SET LOCAL lock_timeout = '5s'`. `ADD COLUMN` +берёт `ACCESS EXCLUSIVE` на миллисекунды, но, пока ждёт блокировку, за +ним в очереди стоят все запросы к `messages`. Чужая долгая транзакция +без срока остановила бы запись всех реплик. Со сроком миграция падает +без изменений, замена не начинается, повтор проходит. + +Проверено на рабочем стенде (`evidence/rollout/compatibility.md`): +- реплики образа `c50b721` (до change) на схеме после новой миграции + проходят `make test` и `make student_test` (131 passed); +- `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова + вперёд — под `tests/load.py`, 0 неуспешных запросов из 20–25 тысяч на + каждый прогон; +- по колонке видно, какая версия записала каждое сообщение. + +**`make run_docker` и пересборка.** Пункт `KNOWN_ISSUES.md` «не +пересоздаёт работающие `api`» не воспроизвёлся +(`evidence/rollout/compatibility.md`, шаг B): +- compose пересоздаёт реплики, у которых изменилось содержимое образа, + — все разом, с простоем; +- пересборка без изменений кода реплики не трогает. + +Хранилище образов Docker Desktop — containerd, и `docker ps` +показывает у реплик digest конфигурации образа, а не имя тега. Отсюда +была ошибка диагностики. Обновление без простоя — `make rolling_update`. + ### Стенд лабы 3 Проект compose — `mtusi-lab3`, образ — `mtusi-messenger:lab3`. Имя @@ -508,12 +618,37 @@ TODO: какие отказы выдерживаются и какие нет; `evidence/failover/keep-alive.md`). Клиенты с новым соединением на запрос (`make test-failover`) его не встречают; отправку сообщения клиент повторяет с тем же ключом. README допускает краткие ошибки во - время обнаружения отказа, если они измерены. Убрать гонку совсем может - дренаж перед SIGTERM: реплика выводится из LB, затем остановка. Это - меняет поведение остановки (новые запросы после SIGTERM ещё - принимаются) или срок hook (1,5 + 8 с > 9 с) — здесь не сделано, - перенесено в change `rolling-update`: поочерёдная замена и так выводит - старую реплику из LB до остановки. + время обнаружения отказа, если они измерены. Плановая остановка + (`make rolling_update`, change `rolling-update`) сначала выводит + реплику из LB через его runtime API и только потом шлёт SIGTERM. + Под той же нагрузкой это 0 ошибок (профиль `rollout`). Одиночный 502 + остаётся только у остановки без дренажа, то есть у имитации отказа + (`stop-one.sh`, профиль `failover`). + +Поочерёдная замена и миграции: + +- **Автоматического отката нет.** Сбой на середине оставляет + `API_REPLICAS` готовых реплик, возможно, разных версий. Миграция + только расширяет схему, так что обе версии работают; повторный запуск + доводит замену. Откат — `make rolling_update COMMIT=<прежний> + MIGRATE=0`: его миграции не знают новой ревизии, поэтому шаг + пропускается явно, а схема остаётся новой. +- **Contract-миграции нет в этой поставке.** Удалить или переименовать + колонку можно только отдельной миграцией, когда кода, который её + пишет, не осталось. `downgrade` новой ревизии удаляет колонку и + допустим только тогда же. +- **`lock_timeout` 5 с.** Под тяжёлой записью миграция может не + дождаться блокировки и упасть. Тогда замена не начинается, повтор + проходит. Это осознанный выбор: иначе очередь всех записей ждала бы + за миграцией. +- **Сборка образа идёт на том же хосте, под нагрузкой.** Из кэша слоёв + — секунды CPU ВМ Docker. +- **SIGTERM во время старта реплики теряется** (процесс с PID 1 до + установки обработчиков uvicorn, `KNOWN_ISSUES.md`). Скрипт обходит это + для неготовой новой реплики: слот в `maint`, затем `docker rm -f`. + Штатные остановки касаются уже запущенных процессов. +- **Замена только на одном хосте** и только для `api`. LB, PostgreSQL и + Valkey обновляются с простоем. - **Профиль отказа — один прогон на фазу, один хост.** Замер показывает поведение и порядок величин, а не распределение. Генератор, LB, реплики и PostgreSQL делят ВМ Docker (`evidence/failover/baseline/`). @@ -556,7 +691,29 @@ LB и PostgreSQL честно названы единой точкой отка исключает неготовую по своей проверке и повторяет недошедший запрос — здесь это HAProxy с проверкой `/health/ready` раз в секунду. Healthcheck контейнера остаётся для `make replicas --wait` и -`docker compose ps`. +`docker compose ps`. При поочерёдной замене видно, что одного +`healthy` мало: реплика попадает в распределение LB только после его +собственных проверок, через ≤ 1,5 с. Поэтому `make rolling_update` ждёт +состояния `UP` в статистике HAProxy, а старую реплику выводит из LB +явно, до остановки. + +**Дополнительно (уровень «4»): как обновить API без простоя и почему +миграция не ломает работающие реплики?** `make rolling_update` меняет +реплики по одной: +1. одна новая рядом со старыми; +2. ожидание её `UP` в LB; +3. старая выводится из LB (`drain`), дорабатывает запросы, + останавливается и удаляется. + +Реплик всё время не меньше `API_REPLICAS`, клиент ошибок не видит: +профиль `rollout` под 200 запросами в секунду и публичный +`tests/load.py` — 0 неуспешных. Миграция выполняется один раз, до +первой новой реплики, и только расширяет схему (expand/contract). +Старые реплики работают на новой схеме: это проверено `make test` и +`make student_test` на образе прежнего commit после новой миграции. +Откат кода не требует отката схемы. Удаление и переименование — +отдельной поставкой, когда прежнего кода не осталось +(`evidence/rollout/compatibility.md`). **Какие POST можно повторять после timeout и что защищает `Idempotency-Key`?** После таймаута клиент не знает, выполнен ли diff --git a/evidence/rollout/compatibility.md b/evidence/rollout/compatibility.md index 5630be9b..8d60b763 100644 --- a/evidence/rollout/compatibility.md +++ b/evidence/rollout/compatibility.md @@ -4,8 +4,8 @@ |---|---| | Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» | | Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) | -| Дата | 2026-10-10, 21:50–21:55 UTC | -| Commit | `d2148ac` (код change); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) | +| Дата | 2026-10-10, 21:50–21:55 UTC; шаг G — 22:02–22:06 UTC | +| Commit | шаги A–F — `d2148ac` (код change); шаг G — `de654a1` (исправление шага миграций в скрипте, найдено регрессией); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) | | Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок | | Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | @@ -209,6 +209,53 @@ test` — `PASS`. `make student_test` — `131 passed`, гонка ключа ч реплик записей alembic нет: миграции выполнял только одноразовый контейнер. +## G. Регрессия нашла дефект: контейнер `migrate` прежнего образа (commit `de654a1`) + +После шагов A–F регрессия `make test-persistence +ACTION_SCRIPT=scripts/restart.sh` упала: `FAIL: restart hook failed`. +Ручной запуск hook: + +``` +mtusi-lab3-migrate-1 fa0b32e4ccc5 Exited (255) 5 seconds ago + Container mtusi-lab3-migrate-1 Error service "migrate" didn't complete successfully: exit 255 +``` + +Причина. Скрипт на `d2148ac` выполнял миграции одноразовым `docker +compose run --rm migrate`. Контейнер самого сервиса `migrate` оставался +от шага A, на образе `c50b721`. `restart.sh` делает `start api`, а +compose при этом запускает зависимость `migrate`, тот же контейнер. +Миграции `c50b721` не знают ревизии `e656d6bbe1a4` → «Can't locate +revision», exit 255, реплики не стартуют. + +Исправление (`de654a1`, design, решение 1): скрипт пересоздаёт +контейнер сервиса на новом образе и выполняет миграцию в нём — `docker +compose up --no-deps --no-build --force-recreate +--abort-on-container-exit --exit-code-from migrate migrate`. Код выхода +миграции передаётся, ошибка по-прежнему останавливает замену до новых +реплик (`evidence/rollout/script-failures.md`, случай 5, повтор). + +Повтор на рабочем стенде с `de654a1` (стенд вернули `docker compose up +--no-deps --force-recreate … migrate` и `docker compose start api +haproxy`): + +``` +python3 tests/load.py --duration 35 --concurrency 4 & # через LB +make rolling_update +22:05:02 rolling-update: start: 2 replicas 4180517b395f 5985a2b69f72, image mtusi-messenger:lab3 from working tree +22:05:05 rolling-update: migrate done in 2s +22:05:13 rolling-update: done: 2 replicas a7126827af39 b167830351fc UP in 11s +load: 19 199 успешных, 0 неуспешных + +mtusi-lab3-api-12 sha256:0bf9d024b759… +mtusi-lab3-api-13 sha256:0bf9d024b759… +mtusi-lab3-migrate-1 sha256:0bf9d024b759… Exited (0) +``` + +`migrate` теперь на том же образе, что реплики. `make test-persistence +ACTION_SCRIPT=scripts/restart.sh` — `PASS`: перезапущены LB, обе +реплики, Postgres и Valkey, у всех новый `StartedAt` +(`evidence/tests/rolling-update-checks.md`). + ## Какая версия записала сообщения Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке diff --git a/evidence/rollout/script-failures.md b/evidence/rollout/script-failures.md index 10656b2f..4ae9221e 100644 --- a/evidence/rollout/script-failures.md +++ b/evidence/rollout/script-failures.md @@ -5,7 +5,7 @@ | Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» | | Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) | | Дата | 2026-10-10, 21:56–22:01 UTC | -| Commit | `d2148ac` | +| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) | | Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) | | Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | @@ -112,8 +112,9 @@ PID 1 теряет SIGTERM, пришедший до установки обра `e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`. -Через сервис миграций, как в скрипте (`docker compose run --rm ---no-deps -T -e DATABASE__NAME=ru_lock migrate`): +Через образ миграций (`docker compose run --rm --no-deps -T -e +DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на +`d2148ac`): ``` 21:59:07 migrate started @@ -148,6 +149,39 @@ revision: 7652184b7016 Новые реплики не запускались, прежние работают, схема прежняя. Стенд затем удалён (`down -v`). +Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate` +(`up --force-recreate --exit-code-from migrate`, +`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench` +на образе `c50b721`, транзакция держит `messages` 20 с: + +``` +22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree +22:04:13 rolling-update: build done in 1s +LockNotAvailableError: canceling statement due to lock timeout +migrate-1 exited with code 1 +22:04:19 rolling-update: error: migrations failed: no replica was replaced +script exit=1 +mtusi-bench-api-1 55ef308b2802 Up 23 seconds +mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds +mtusi-bench-migrate-1 073cdd7b31ae Exited (1) +revision: 7652184b7016 +``` + +Повтор того же скрипта после конца транзакции: + +``` +22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, … +Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id +22:04:33 rolling-update: migrate done in 1s +… +22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s +script exit=0 +mtusi-bench-migrate-1 73e318fd50c6 Exited (0) +revision: e656d6bbe1a4 +``` + +Стенд затем удалён (`down -v`). + Чем это лучше ожидания без срока, показывает тот же опыт с alembic с хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение `SELECT count(*) FROM messages`, начатое через 1 с после миграции, diff --git a/evidence/tests/rolling-update-checks.md b/evidence/tests/rolling-update-checks.md new file mode 100644 index 00000000..fa2796e3 --- /dev/null +++ b/evidence/tests/rolling-update-checks.md @@ -0,0 +1,104 @@ +# Регрессия change `rolling-update` на итоговом коде + +| | | +|---|---| +| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook», «Поочерёдная замена реплик»; `data-storage` «Данные переживают рестарт»; `db-migrations` «Совместимость миграции с работающей версией»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Образ прежнего commit»; «Профиль отказа реплик» — «Быстрый профиль»; «Профиль поочерёдной замены» — «Быстрый профиль» | +| Change | `rolling-update`, задачи 5.1, 5.2 и 6.3 | +| Дата | 2026-10-10: до коммита кода — 21:47–21:50 UTC; на итоговом коде — 22:05–22:17 UTC | +| Commit | код — `de654a1` (`d2148ac` и исправление шага миграций в скрипте). Самопроверки `bench_failover_quick` и `bench_rollout_quick` записали `dirty: true`: в рабочем дереве были только правки `REPORT.md`, `design.md` и evidence, `git diff de654a1 --stat` кода не содержит | +| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update` с `de654a1`; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал | + +## Статические проверки (до коммита кода) + +```text +$ make lint → All checks passed! +$ make check → PASS: offline skeleton structure, local refs and Python syntax +$ openspec validate rolling-update --strict → Change 'rolling-update' is valid +$ haproxy -c (haproxy:3.4.6, API_PORT=8080) → Configuration file is valid, exit 0 +$ dash -n scripts/rolling-update.sh → exit 0 +``` + +Миграция `e656d6bbe1a4` на временной базе `ru_check` (не рабочей): +`upgrade head` → `downgrade -1` → `upgrade head`, затем `alembic check` +— `No new upgrade operations detected.`, колонка `instance_id text`. + +## Часть A: рабочий стенд через LB (`de654a1`) + +```text +$ make rolling_update (под tests/load.py) → exit 0; load: 19 199 успешных, 0 неуспешных +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + StartedAt до → после: + mtusi-lab3-api-12 22:05:05 -> 22:05:45 + mtusi-lab3-api-13 22:05:09 -> 22:05:45 + mtusi-lab3-haproxy-1 22:02:53 -> 22:05:45 + mtusi-lab3-postgres-1 22:02:18 -> 22:05:41 + mtusi-lab3-valkey-1 22:02:17 -> 22:05:41 +$ STOP_ONE_LOG=… make test-failover ACTION_SCRIPT=scripts/stop-one.sh +{"observed_instances_before": 2, "successful_writes": 112, "failed_attempts": 0, "first_recovery_seconds": 1.004} +PASS: failover preserved confirmed data and existing session. +$ make replicas; curl …/health/live (сдвиг очереди round-robin) +$ STOP_MODE=kill STOP_ONE_LOG=… make test-failover ACTION_SCRIPT=scripts/stop-one.sh +{"observed_instances_before": 2, "successful_writes": 119, "failed_attempts": 1, "first_recovery_seconds": 0.231} +PASS: failover preserved confirmed data and existing session. +$ cat STOP_ONE_LOG +2026-10-10T22:05:56Z TARGET_INSTANCE_ID=b167830351fc container=b167830351fc4d8f… mode=stop +2026-10-10T22:06:17Z TARGET_INSTANCE_ID=a7126827af39 container=a7126827af39733a… mode=kill +$ make replicas +$ make test +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +$ make student_test +key race through replicas: {'b167830351fc': 5, 'a7126827af39': 5} +===================== 131 passed, 15 deselected in 22.38s ====================== +``` + +Первый прогон `make test-persistence` на `d2148ac` упал: `FAIL: restart +hook failed`. Контейнер `migrate` прежнего образа не знал новой +ревизии. Разбор и исправление — `evidence/rollout/compatibility.md`, +шаг G; выше — повтор на исправленном коде. + +## Часть B: свои стенды + +```text +$ make test_isolated (до коммита: 21:47; на de654a1: 22:07) +Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # временная база test_ +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +=========== 127 passed, 4 skipped, 15 deselected in 64.20s (0:01:04) =========== +[test_isolated] results: {'test': 0, 'student_test': 0} + 4 пропуска — тесты реплик против одного процесса («one API process») + +$ make failure_checks (до коммита и на de654a1) +===================== 15 passed, 131 deselected in 45.65s ====================== +[failure_checks] results: {'fault': 0} + +$ make bench_quick +[00:03:41] complete: 18/18 runs, results in evidence/bench/quick-20261010T220924Z # паспорт: api_replicas 1, лимиты LB + +$ make bench_failover_quick +phase 01-stop-r1: LB out 0.97 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.0 s, …, messages 2300 = keys 2300 +phase 02-stop-r2: LB out 0.91 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.12 s, …, messages 4600 = keys 4600 +phase 03-kill-r1: LB out 0.81 s (MAINT, bound 2.5 s), errors 1 [502:1], recovery 0 s, back in LB 1.08 s, …, messages 6901 = keys 6901 +phase 04-kill-r2: LB out 0.66 s (MAINT, bound 2.5 s), errors 1 [502:1], recovery 0 s, back in LB 1.0 s, …, retried 1, messages 9202 = keys 9202 +[00:02:00] complete: 4/4 runs + +$ make bench_rollout_quick +rollout: 9.92 s, errors before / during / after 0 / 0 [] / 0, min success 1.0, old after drain 0, + revision 7652184b7016 -> e656d6bbe1a4; retried 0, messages 7301 = keys 7301 +[00:01:30] complete: 1/1 runs, results in evidence/rollout/quick-rollout-20261010T221508Z +``` + +Шаги быстрого профиля замены (`replicas.csv`, секунды от начала +замены): + +| Шаг | Новая (слот) | Старая (слот) | Старт → `UP`, с | Дренаж, с | Остановка, с | Замена шага, с | Ошибок | Ответов старой после дренажа | +|---|---|---|---|---|---|---|---|---| +| 1 | `8aa240966cd8` (api-3) | `4bc7c31fd4f4` (api-1) | 1,93 | 0,15 | 0,30 | 3,08 | 0 | 0 | +| 2 | `d992e67a19c5` (api-1) | `64133b83844e` (api-2) | 1,93 | 0,15 | 0,41 | 3,18 | 0 | 0 | + +`kill` в профиле `failover` по-прежнему даёт 1 ответ 502 на фазу: +запрос в полёте на убитой реплике, LB его не повторяет. Повтор с тем же +ключом закрыл его без дубля — это поведение отказа, не замены. + +Каталоги быстрых профилей (`quick-*`) — в `.gitignore`, здесь их +итоговые строки. diff --git a/openspec/changes/rolling-update/design.md b/openspec/changes/rolling-update/design.md index ff74dc6c..3b38ffa9 100644 --- a/openspec/changes/rolling-update/design.md +++ b/openspec/changes/rolling-update/design.md @@ -438,6 +438,25 @@ containerd `docker ps` показывает у реплик digest конфиг - раздел «Обновление без простоя и миграции» в ответах на вопросы защиты. +### 11. Найдено в apply (2026-10-10) + +- **Миграция в контейнере сервиса `migrate`, а не `run --rm`** (решение + 1, шаг 2). Регрессия `make test-persistence` после замены упала: + `restart.sh` запускал оставшийся `migrate` прежнего образа, и тот + падал на новой ревизии (exit 255). Исправлено в `de654a1`, evidence + переснято (`compatibility.md`, шаг G; `script-failures.md`, случай 5). +- **Поток событий Docker в профиле `rollout`** (решение 8). Буфер + демона — 256 событий, `docker exec` их вытесняют. Тот же риск у + профиля `failover` — в `KNOWN_ISSUES.md`. +- **Неготовая новая реплика убирается `docker rm -f` после `maint` + слота** (Risks). Её SIGTERM теряется, пока процесс с PID 1 не + поставил обработчики (`KNOWN_ISSUES.md`). +- **IPAM переиспользует адрес сразу** (решение 3) — подтверждено, отсюда + порядок «адрес ушёл → `ready` → следующий `--scale`». +- **`make run_docker`** — дефект не воспроизвёлся (решение 9, первый + исход). Пункт `KNOWN_ISSUES.md` закрыт, в `docker.md`, `Makefile` и + `REPORT.md` — что делает `run_docker` и чем обновлять без простоя. + ## Risks / Trade-offs - **[Канал управления LB — admin-уровень]** → слушает только @@ -492,7 +511,8 @@ containerd `docker ps` показывает у реплик digest конфиг 1. Код, ревизия, скрипт и конфиг LB коммитятся. Рабочий стенд получает их одной командой `make rolling_update`: новая ревизия применяется, реплики заменяются. `haproxy.cfg` с runtime API подхватывается - пересозданием LB (`docker compose up -d haproxy`). Это короткий + пересозданием LB (`docker compose up -d --force-recreate --no-deps + haproxy`: правку смонтированного файла compose не видит). Это короткий перерыв точки входа, а не реплик. Делается один раз, до первой замены: без канала управления скрипт останавливается в предусловиях. 2. Откат кода — `make rolling_update COMMIT=<прежний> MIGRATE=0`. Схема diff --git a/openspec/changes/rolling-update/tasks.md b/openspec/changes/rolling-update/tasks.md index 22f9cf18..271e3d11 100644 --- a/openspec/changes/rolling-update/tasks.md +++ b/openspec/changes/rolling-update/tasks.md @@ -104,7 +104,7 @@ Evidence снимается с закоммиченного кода: комми - [x] 5.1 `make lint`, `make check`, `openspec validate rolling-update --strict`, `haproxy -c`. Проверка: все с кодом 0. -- [ ] 5.2 Самопроверки на своих стендах, рабочий не трогается: +- [x] 5.2 Самопроверки на своих стендах, рабочий не трогается: - `make test_isolated` — новая ревизия на временной базе, smoke и набор; - `make failure_checks`; @@ -148,7 +148,7 @@ Evidence снимается с закоммиченного кода: комми Проверка: после каждого случая `make lb_stats` — N реплик `UP`, слотов `DRAIN` / `MAINT` вне DNS нет. -- [ ] 6.3 Регрессия на commit кода (`evidence/tests/rolling-update-checks.md`): +- [x] 6.3 Регрессия на commit кода (`evidence/tests/rolling-update-checks.md`): - `make test`, `make student_test` через LB; - `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; - `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` в режимах