docs: add rolling-update regression evidence and report sections

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 01:17:34 +03:00
co-authored by Claude Opus 5.5
parent de654a1c83
commit 9dcea0b2b8
6 changed files with 377 additions and 15 deletions
+164 -7
View File
@@ -23,6 +23,8 @@ make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make replicas # вернуть остановленную реплику (те же ID) перед следующим прогоном failover
make bench_failover_quick # отказ каждой реплики под нагрузкой на своём стенде mtusi-bench, ~2 мин; полный — make bench_failover
make rolling_update # новый код на реплики без простоя: сборка, миграции один раз, по одной реплике с выводом из LB
make bench_rollout_quick # то же под нагрузкой на своём стенде с образа прежнего commit, ~2 мин; полный — make bench_rollout
make stop # остановить; make down — удалить контейнеры, volume с данными остаётся
make wipe_data # намеренно удалить учебные данные: только после ввода yes, только проект mtusi-lab3
```
@@ -197,6 +199,114 @@ Postgres, карточки чатов неизменны, поэтому общ
api=$(API_REPLICAS) api`) — тот же контейнер запускается снова, LB
включает его после проверок.
### Обновление без простоя и миграции (change `rolling-update`)
Compose сам rolling update не делает (это `update_config` Swarm),
поэтому замена — свой скрипт `scripts/rolling-update.sh`, цель `make
rolling_update`. Сторонний плагин не используется: это была бы ещё одна
незакреплённая зависимость. Порядок (design `rolling-update`, решения
1–5):
0. **Предусловия** — ничего не меняют, иначе код 2 и подсказка `make
replicas`:
- работает ровно `API_REPLICAS` реплик, остановленных нет;
- все `UP` в LB;
- для ещё одной реплики есть слот (≤ 8);
- канал управления LB отвечает.
1. **Сборка образа** из рабочего дерева. `COMMIT=<commit>` — из файлов
commit через `git archive <commit> | docker build`, рабочее дерево не
трогается.
2. **Миграции — один раз**, в контейнере сервиса `migrate`, на новом
образе, до первой новой реплики. Ошибка (в том числе `lock_timeout`)
— код 1, реплики не тронуты.
3. **Одна новая реплика** рядом со старыми: `up -d --no-deps
--no-recreate --scale api=N+1 api`.
4. **Ожидание готовности новой:** `healthy` **и** `UP` в статистике LB
по её адресу. Слот получает адрес из DNS и начинает в `DOWN`, в
распределение попадает через ≤ 1,5 с проверок. Вывести старую по
одному `healthy` — значит на эти 1,5 с остаться с N − 1 репликами.
5. **Вывод старой из LB и удаление:**
- runtime API HAProxy: `drain` — новых запросов нет, начатые
дорабатывают;
- ожидание, пока запросов в полёте не станет 0 (≤ 12 с, больше
`timeout server`);
- `maint`, `docker stop` (graceful, ≤ 10 с), `docker rm`;
- когда адрес ушёл из слота — `ready`.
6. Шаги 3–5 для каждой старой реплики. В конце `API_REPLICAS` реплик
нового образа, все `UP`.
**Канал управления LB** — `stats socket ipv4@127.0.0.1:9999 level admin`
в `haproxy.cfg`. Он слушает только loopback контейнера LB. Из сети
compose и с хоста его не достать (`evidence/rollout/script-failures.md`,
случай 6), команды идут через `docker compose exec haproxy`. Страница
статистики `:8404` с `stats admin` не годится: она открыта всей сети
compose. Альтернатива — readiness 503 по SIGTERM — отвергнута:
- она меняет поведение остановки, после SIGTERM реплика ещё ≥ 1,5 с
принимала бы запросы;
- остановка удлиняется до 1,5 + 8 с — впритык к `stop_grace_period`;
- ломается срок `stop-one.sh`.
**Почему слот возвращается в `ready`.** Ручное состояние — свойство
слота, а не реплики. IPAM Docker сразу отдаёт адрес удалённой реплики
следующей, и DNS кладёт её в тот же слот. Это видно в замере: новая
реплика второго шага получила адрес и слот только что удалённой. Слот,
оставленный в `maint`, не пустил бы к ней ни одного запроса.
**Дренаж убирает одиночный 502** гонки keep-alive. Слот выведен, и LB
не отправляет запросов в соединения, которые uvicorn закрывает по
SIGTERM. Профиль `rollout` под 200 запросами в секунду — 0 ошибок
(раздел «Эксперименты и отказы»). `scripts/stop-one.sh` и профиль
`failover` дренаж не делают намеренно: они имитируют отказ, а не
плановую остановку.
**Сбой на середине.** Новая реплика не стала `UP` за срок — она
удаляется. Её слот, если DNS уже отдал его, сначала уходит в `maint`.
Новая уже `UP` (в том числе при Ctrl+C) — вывод текущей старой
доводится до удаления. В любом исходе работает `API_REPLICAS` готовых
реплик, слоты без ручного состояния, повторный запуск доводит замену
(`evidence/rollout/script-failures.md`). Автоматического отката нет.
Откат — та же замена на образ прежнего commit без миграций: `make
rolling_update COMMIT=<commit> MIGRATE=0`.
**Миграции однократны и совместимы с работающей версией** (expand /
contract):
- ревизия только расширяет схему: новая таблица, колонка с NULL или
значением по умолчанию, индекс;
- удаление и переименование — отдельной поставкой, когда прежнего кода
не осталось.
Демонстрация — колонка `messages.instance_id` (`text NULL`, ревизия
`e656d6bbe1a4`): реплика, записавшая сообщение. Наружу она не
отдаётся, контракт не меняется:
- новый код её пишет, без неё упал бы, поэтому миграция обязана идти
до новых реплик;
- прежний код её не знает: вставляет свои колонки (NULL), читает свои.
Первой строкой ревизии — `SET LOCAL lock_timeout = '5s'`. `ADD COLUMN`
берёт `ACCESS EXCLUSIVE` на миллисекунды, но, пока ждёт блокировку, за
ним в очереди стоят все запросы к `messages`. Чужая долгая транзакция
без срока остановила бы запись всех реплик. Со сроком миграция падает
без изменений, замена не начинается, повтор проходит.
Проверено на рабочем стенде (`evidence/rollout/compatibility.md`):
- реплики образа `c50b721` (до change) на схеме после новой миграции
проходят `make test` и `make student_test` (131 passed);
- `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова
вперёд — под `tests/load.py`, 0 неуспешных запросов из 20–25 тысяч на
каждый прогон;
- по колонке видно, какая версия записала каждое сообщение.
**`make run_docker` и пересборка.** Пункт `KNOWN_ISSUES.md` «не
пересоздаёт работающие `api`» не воспроизвёлся
(`evidence/rollout/compatibility.md`, шаг B):
- compose пересоздаёт реплики, у которых изменилось содержимое образа,
— все разом, с простоем;
- пересборка без изменений кода реплики не трогает.
Хранилище образов Docker Desktop — containerd, и `docker ps`
показывает у реплик digest конфигурации образа, а не имя тега. Отсюда
была ошибка диагностики. Обновление без простоя — `make rolling_update`.
### Стенд лабы 3
Проект compose — `mtusi-lab3`, образ — `mtusi-messenger:lab3`. Имя
@@ -508,12 +618,37 @@ TODO: какие отказы выдерживаются и какие нет;
`evidence/failover/keep-alive.md`). Клиенты с новым соединением на
запрос (`make test-failover`) его не встречают; отправку сообщения
клиент повторяет с тем же ключом. README допускает краткие ошибки во
время обнаружения отказа, если они измерены. Убрать гонку совсем может
дренаж перед SIGTERM: реплика выводится из LB, затем остановка. Это
меняет поведение остановки (новые запросы после SIGTERM ещё
принимаются) или срок hook (1,5 + 8 с > 9 с) — здесь не сделано,
перенесено в change `rolling-update`: поочерёдная замена и так выводит
старую реплику из LB до остановки.
время обнаружения отказа, если они измерены. Плановая остановка
(`make rolling_update`, change `rolling-update`) сначала выводит
реплику из LB через его runtime API и только потом шлёт SIGTERM.
Под той же нагрузкой это 0 ошибок (профиль `rollout`). Одиночный 502
остаётся только у остановки без дренажа, то есть у имитации отказа
(`stop-one.sh`, профиль `failover`).
Поочерёдная замена и миграции:
- **Автоматического отката нет.** Сбой на середине оставляет
`API_REPLICAS` готовых реплик, возможно, разных версий. Миграция
только расширяет схему, так что обе версии работают; повторный запуск
доводит замену. Откат — `make rolling_update COMMIT=<прежний>
MIGRATE=0`: его миграции не знают новой ревизии, поэтому шаг
пропускается явно, а схема остаётся новой.
- **Contract-миграции нет в этой поставке.** Удалить или переименовать
колонку можно только отдельной миграцией, когда кода, который её
пишет, не осталось. `downgrade` новой ревизии удаляет колонку и
допустим только тогда же.
- **`lock_timeout` 5 с.** Под тяжёлой записью миграция может не
дождаться блокировки и упасть. Тогда замена не начинается, повтор
проходит. Это осознанный выбор: иначе очередь всех записей ждала бы
за миграцией.
- **Сборка образа идёт на том же хосте, под нагрузкой.** Из кэша слоёв
— секунды CPU ВМ Docker.
- **SIGTERM во время старта реплики теряется** (процесс с PID 1 до
установки обработчиков uvicorn, `KNOWN_ISSUES.md`). Скрипт обходит это
для неготовой новой реплики: слот в `maint`, затем `docker rm -f`.
Штатные остановки касаются уже запущенных процессов.
- **Замена только на одном хосте** и только для `api`. LB, PostgreSQL и
Valkey обновляются с простоем.
- **Профиль отказа — один прогон на фазу, один хост.** Замер показывает
поведение и порядок величин, а не распределение. Генератор, LB,
реплики и PostgreSQL делят ВМ Docker (`evidence/failover/baseline/`).
@@ -556,7 +691,29 @@ LB и PostgreSQL честно названы единой точкой отка
исключает неготовую по своей проверке и повторяет недошедший запрос —
здесь это HAProxy с проверкой `/health/ready` раз в секунду.
Healthcheck контейнера остаётся для `make replicas --wait` и
`docker compose ps`.
`docker compose ps`. При поочерёдной замене видно, что одного
`healthy` мало: реплика попадает в распределение LB только после его
собственных проверок, через ≤ 1,5 с. Поэтому `make rolling_update` ждёт
состояния `UP` в статистике HAProxy, а старую реплику выводит из LB
явно, до остановки.
**Дополнительно (уровень «4»): как обновить API без простоя и почему
миграция не ломает работающие реплики?** `make rolling_update` меняет
реплики по одной:
1. одна новая рядом со старыми;
2. ожидание её `UP` в LB;
3. старая выводится из LB (`drain`), дорабатывает запросы,
останавливается и удаляется.
Реплик всё время не меньше `API_REPLICAS`, клиент ошибок не видит:
профиль `rollout` под 200 запросами в секунду и публичный
`tests/load.py` — 0 неуспешных. Миграция выполняется один раз, до
первой новой реплики, и только расширяет схему (expand/contract).
Старые реплики работают на новой схеме: это проверено `make test` и
`make student_test` на образе прежнего commit после новой миграции.
Откат кода не требует отката схемы. Удаление и переименование —
отдельной поставкой, когда прежнего кода не осталось
(`evidence/rollout/compatibility.md`).
**Какие POST можно повторять после timeout и что защищает
`Idempotency-Key`?** После таймаута клиент не знает, выполнен ли
+49 -2
View File
@@ -4,8 +4,8 @@
|---|---|
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» |
| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) |
| Дата | 2026-10-10, 21:50–21:55 UTC |
| Commit | `d2148ac` (код change); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
| Дата | 2026-10-10, 21:50–21:55 UTC; шаг G — 22:02–22:06 UTC |
| Commit | шаги A–F — `d2148ac` (код change); шаг G — `de654a1` (исправление шага миграций в скрипте, найдено регрессией); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
@@ -209,6 +209,53 @@ test` — `PASS`. `make student_test` — `131 passed`, гонка ключа ч
реплик записей alembic нет: миграции выполнял только одноразовый
контейнер.
## G. Регрессия нашла дефект: контейнер `migrate` прежнего образа (commit `de654a1`)
После шагов A–F регрессия `make test-persistence
ACTION_SCRIPT=scripts/restart.sh` упала: `FAIL: restart hook failed`.
Ручной запуск hook:
```
mtusi-lab3-migrate-1 fa0b32e4ccc5 Exited (255) 5 seconds ago
Container mtusi-lab3-migrate-1 Error service "migrate" didn't complete successfully: exit 255
```
Причина. Скрипт на `d2148ac` выполнял миграции одноразовым `docker
compose run --rm migrate`. Контейнер самого сервиса `migrate` оставался
от шага A, на образе `c50b721`. `restart.sh` делает `start api`, а
compose при этом запускает зависимость `migrate`, тот же контейнер.
Миграции `c50b721` не знают ревизии `e656d6bbe1a4` → «Can't locate
revision», exit 255, реплики не стартуют.
Исправление (`de654a1`, design, решение 1): скрипт пересоздаёт
контейнер сервиса на новом образе и выполняет миграцию в нём — `docker
compose up --no-deps --no-build --force-recreate
--abort-on-container-exit --exit-code-from migrate migrate`. Код выхода
миграции передаётся, ошибка по-прежнему останавливает замену до новых
реплик (`evidence/rollout/script-failures.md`, случай 5, повтор).
Повтор на рабочем стенде с `de654a1` (стенд вернули `docker compose up
--no-deps --force-recreate … migrate` и `docker compose start api
haproxy`):
```
python3 tests/load.py --duration 35 --concurrency 4 & # через LB
make rolling_update
22:05:02 rolling-update: start: 2 replicas 4180517b395f 5985a2b69f72, image mtusi-messenger:lab3 from working tree
22:05:05 rolling-update: migrate done in 2s
22:05:13 rolling-update: done: 2 replicas a7126827af39 b167830351fc UP in 11s
load: 19 199 успешных, 0 неуспешных
mtusi-lab3-api-12 sha256:0bf9d024b759…
mtusi-lab3-api-13 sha256:0bf9d024b759…
mtusi-lab3-migrate-1 sha256:0bf9d024b759… Exited (0)
```
`migrate` теперь на том же образе, что реплики. `make test-persistence
ACTION_SCRIPT=scripts/restart.sh` — `PASS`: перезапущены LB, обе
реплики, Postgres и Valkey, у всех новый `StartedAt`
(`evidence/tests/rolling-update-checks.md`).
## Какая версия записала сообщения
Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке
+37 -3
View File
@@ -5,7 +5,7 @@
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
| Дата | 2026-10-10, 21:56–22:01 UTC |
| Commit | `d2148ac` |
| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) |
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
@@ -112,8 +112,9 @@ PID 1 теряет SIGTERM, пришедший до установки обра
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
Через сервис миграций, как в скрипте (`docker compose run --rm
--no-deps -T -e DATABASE__NAME=ru_lock migrate`):
Через образ миграций (`docker compose run --rm --no-deps -T -e
DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на
`d2148ac`):
```
21:59:07 migrate started
@@ -148,6 +149,39 @@ revision: 7652184b7016
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
затем удалён (`down -v`).
Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate`
(`up --force-recreate --exit-code-from migrate`,
`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench`
на образе `c50b721`, транзакция держит `messages` 20 с:
```
22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
22:04:13 rolling-update: build done in 1s
LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:04:19 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
revision: 7652184b7016
```
Повтор того же скрипта после конца транзакции:
```
22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
22:04:33 rolling-update: migrate done in 1s
…
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
script exit=0
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
revision: e656d6bbe1a4
```
Стенд затем удалён (`down -v`).
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
+104
View File
@@ -0,0 +1,104 @@
# Регрессия change `rolling-update` на итоговом коде
| | |
|---|---|
| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook», «Поочерёдная замена реплик»; `data-storage` «Данные переживают рестарт»; `db-migrations` «Совместимость миграции с работающей версией»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Образ прежнего commit»; «Профиль отказа реплик» — «Быстрый профиль»; «Профиль поочерёдной замены» — «Быстрый профиль» |
| Change | `rolling-update`, задачи 5.1, 5.2 и 6.3 |
| Дата | 2026-10-10: до коммита кода — 21:47–21:50 UTC; на итоговом коде — 22:05–22:17 UTC |
| Commit | код — `de654a1` (`d2148ac` и исправление шага миграций в скрипте). Самопроверки `bench_failover_quick` и `bench_rollout_quick` записали `dirty: true`: в рабочем дереве были только правки `REPORT.md`, `design.md` и evidence, `git diff de654a1 --stat` кода не содержит |
| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update` с `de654a1`; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал |
## Статические проверки (до коммита кода)
```text
$ make lint → All checks passed!
$ make check → PASS: offline skeleton structure, local refs and Python syntax
$ openspec validate rolling-update --strict → Change 'rolling-update' is valid
$ haproxy -c (haproxy:3.4.6, API_PORT=8080) → Configuration file is valid, exit 0
$ dash -n scripts/rolling-update.sh → exit 0
```
Миграция `e656d6bbe1a4` на временной базе `ru_check` (не рабочей):
`upgrade head` → `downgrade -1` → `upgrade head`, затем `alembic check`
— `No new upgrade operations detected.`, колонка `instance_id text`.
## Часть A: рабочий стенд через LB (`de654a1`)
```text
$ make rolling_update (под tests/load.py) → exit 0; load: 19 199 успешных, 0 неуспешных
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
StartedAt до → после:
mtusi-lab3-api-12 22:05:05 -> 22:05:45
mtusi-lab3-api-13 22:05:09 -> 22:05:45
mtusi-lab3-haproxy-1 22:02:53 -> 22:05:45
mtusi-lab3-postgres-1 22:02:18 -> 22:05:41
mtusi-lab3-valkey-1 22:02:17 -> 22:05:41
$ STOP_ONE_LOG=… make test-failover ACTION_SCRIPT=scripts/stop-one.sh
{"observed_instances_before": 2, "successful_writes": 112, "failed_attempts": 0, "first_recovery_seconds": 1.004}
PASS: failover preserved confirmed data and existing session.
$ make replicas; curl …/health/live (сдвиг очереди round-robin)
$ STOP_MODE=kill STOP_ONE_LOG=… make test-failover ACTION_SCRIPT=scripts/stop-one.sh
{"observed_instances_before": 2, "successful_writes": 119, "failed_attempts": 1, "first_recovery_seconds": 0.231}
PASS: failover preserved confirmed data and existing session.
$ cat STOP_ONE_LOG
2026-10-10T22:05:56Z TARGET_INSTANCE_ID=b167830351fc container=b167830351fc4d8f… mode=stop
2026-10-10T22:06:17Z TARGET_INSTANCE_ID=a7126827af39 container=a7126827af39733a… mode=kill
$ make replicas
$ make test
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
$ make student_test
key race through replicas: {'b167830351fc': 5, 'a7126827af39': 5}
===================== 131 passed, 15 deselected in 22.38s ======================
```
Первый прогон `make test-persistence` на `d2148ac` упал: `FAIL: restart
hook failed`. Контейнер `migrate` прежнего образа не знал новой
ревизии. Разбор и исправление — `evidence/rollout/compatibility.md`,
шаг G; выше — повтор на исправленном коде.
## Часть B: свои стенды
```text
$ make test_isolated (до коммита: 21:47; на de654a1: 22:07)
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # временная база test_<db>
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
=========== 127 passed, 4 skipped, 15 deselected in 64.20s (0:01:04) ===========
[test_isolated] results: {'test': 0, 'student_test': 0}
4 пропуска — тесты реплик против одного процесса («one API process»)
$ make failure_checks (до коммита и на de654a1)
===================== 15 passed, 131 deselected in 45.65s ======================
[failure_checks] results: {'fault': 0}
$ make bench_quick
[00:03:41] complete: 18/18 runs, results in evidence/bench/quick-20261010T220924Z # паспорт: api_replicas 1, лимиты LB
$ make bench_failover_quick
phase 01-stop-r1: LB out 0.97 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.0 s, …, messages 2300 = keys 2300
phase 02-stop-r2: LB out 0.91 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.12 s, …, messages 4600 = keys 4600
phase 03-kill-r1: LB out 0.81 s (MAINT, bound 2.5 s), errors 1 [502:1], recovery 0 s, back in LB 1.08 s, …, messages 6901 = keys 6901
phase 04-kill-r2: LB out 0.66 s (MAINT, bound 2.5 s), errors 1 [502:1], recovery 0 s, back in LB 1.0 s, …, retried 1, messages 9202 = keys 9202
[00:02:00] complete: 4/4 runs
$ make bench_rollout_quick
rollout: 9.92 s, errors before / during / after 0 / 0 [] / 0, min success 1.0, old after drain 0,
revision 7652184b7016 -> e656d6bbe1a4; retried 0, messages 7301 = keys 7301
[00:01:30] complete: 1/1 runs, results in evidence/rollout/quick-rollout-20261010T221508Z
```
Шаги быстрого профиля замены (`replicas.csv`, секунды от начала
замены):
| Шаг | Новая (слот) | Старая (слот) | Старт → `UP`, с | Дренаж, с | Остановка, с | Замена шага, с | Ошибок | Ответов старой после дренажа |
|---|---|---|---|---|---|---|---|---|
| 1 | `8aa240966cd8` (api-3) | `4bc7c31fd4f4` (api-1) | 1,93 | 0,15 | 0,30 | 3,08 | 0 | 0 |
| 2 | `d992e67a19c5` (api-1) | `64133b83844e` (api-2) | 1,93 | 0,15 | 0,41 | 3,18 | 0 | 0 |
`kill` в профиле `failover` по-прежнему даёт 1 ответ 502 на фазу:
запрос в полёте на убитой реплике, LB его не повторяет. Повтор с тем же
ключом закрыл его без дубля — это поведение отказа, не замены.
Каталоги быстрых профилей (`quick-*`) — в `.gitignore`, здесь их
итоговые строки.
+21 -1
View File
@@ -438,6 +438,25 @@ containerd `docker ps` показывает у реплик digest конфиг
- раздел «Обновление без простоя и миграции» в ответах на вопросы
защиты.
### 11. Найдено в apply (2026-10-10)
- **Миграция в контейнере сервиса `migrate`, а не `run --rm`** (решение
1, шаг 2). Регрессия `make test-persistence` после замены упала:
`restart.sh` запускал оставшийся `migrate` прежнего образа, и тот
падал на новой ревизии (exit 255). Исправлено в `de654a1`, evidence
переснято (`compatibility.md`, шаг G; `script-failures.md`, случай 5).
- **Поток событий Docker в профиле `rollout`** (решение 8). Буфер
демона — 256 событий, `docker exec` их вытесняют. Тот же риск у
профиля `failover` — в `KNOWN_ISSUES.md`.
- **Неготовая новая реплика убирается `docker rm -f` после `maint`
слота** (Risks). Её SIGTERM теряется, пока процесс с PID 1 не
поставил обработчики (`KNOWN_ISSUES.md`).
- **IPAM переиспользует адрес сразу** (решение 3) — подтверждено, отсюда
порядок «адрес ушёл → `ready` → следующий `--scale`».
- **`make run_docker`** — дефект не воспроизвёлся (решение 9, первый
исход). Пункт `KNOWN_ISSUES.md` закрыт, в `docker.md`, `Makefile` и
`REPORT.md` — что делает `run_docker` и чем обновлять без простоя.
## Risks / Trade-offs
- **[Канал управления LB — admin-уровень]** → слушает только
@@ -492,7 +511,8 @@ containerd `docker ps` показывает у реплик digest конфиг
1. Код, ревизия, скрипт и конфиг LB коммитятся. Рабочий стенд получает
их одной командой `make rolling_update`: новая ревизия применяется,
реплики заменяются. `haproxy.cfg` с runtime API подхватывается
пересозданием LB (`docker compose up -d haproxy`). Это короткий
пересозданием LB (`docker compose up -d --force-recreate --no-deps
haproxy`: правку смонтированного файла compose не видит). Это короткий
перерыв точки входа, а не реплик. Делается один раз, до первой
замены: без канала управления скрипт останавливается в предусловиях.
2. Откат кода — `make rolling_update COMMIT=<прежний> MIGRATE=0`. Схема
+2 -2
View File
@@ -104,7 +104,7 @@ Evidence снимается с закоммиченного кода: комми
- [x] 5.1 `make lint`, `make check`, `openspec validate rolling-update
--strict`, `haproxy -c`. Проверка: все с кодом 0.
- [ ] 5.2 Самопроверки на своих стендах, рабочий не трогается:
- [x] 5.2 Самопроверки на своих стендах, рабочий не трогается:
- `make test_isolated` — новая ревизия на временной базе, smoke и
набор;
- `make failure_checks`;
@@ -148,7 +148,7 @@ Evidence снимается с закоммиченного кода: комми
Проверка: после каждого случая `make lb_stats` — N реплик `UP`, слотов
`DRAIN` / `MAINT` вне DNS нет.
- [ ] 6.3 Регрессия на commit кода (`evidence/tests/rolling-update-checks.md`):
- [x] 6.3 Регрессия на commit кода (`evidence/tests/rolling-update-checks.md`):
- `make test`, `make student_test` через LB;
- `make test-persistence ACTION_SCRIPT=scripts/restart.sh`;
- `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` в режимах