docs: retake rolling-update evidence on the final verify commit

Re-run the compatibility walk-through, the script failure cases with a
real Ctrl+C through a pseudo-terminal, the stand lifecycle after
replacement and the quick rollout and failover self-checks on 84161c0
with a clean tree; update the report rows and limitations.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 01:56:30 +03:00
co-authored by Claude Opus 5.5
parent 84161c033a
commit 6f85d21f3b
5 changed files with 571 additions and 324 deletions
+29 -11
View File
@@ -300,17 +300,25 @@ contract):
вставших в очередь, получили 503 вместе с отказом миграции; с 2 с — 0
ошибок, задержка до 2 с (`evidence/rollout/script-failures.md`).
Проверено на рабочем стенде (`evidence/rollout/compatibility.md`):
Проверено на рабочем стенде с итогового commit `84161c0`
(`evidence/rollout/compatibility.md`):
- реплики образа `c50b721` (до change) на схеме после новой миграции
проходят `make test` и `make student_test` (131 passed);
- `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова
вперёд — под `tests/load.py`, 0 неуспешных запросов из 20–25 тысяч на
каждый прогон;
- по колонке видно, какая версия записала каждое сообщение.
вперёд — под `tests/load.py`, 0 неуспешных запросов из 16–21 тысячи на
каждый прогон; старые реплики после дренажа завершаются за 0,1 с с
кодом 0;
- по колонке видно, какая версия записала каждое сообщение;
- после замен (реплики `api-7`, `api-8` и дальше) работают `make
instances`, `make test-failover` в режимах `stop` и `kill`, `make
replicas`, `make test-persistence`, `make run_docker` поверх
заменённых реплик и `make down` + `make run_docker`; две замены подряд
не оставляют слотов LB с ручным состоянием, свободных слотов — те же
6 из 8.
**`make run_docker` и пересборка.** Пункт `KNOWN_ISSUES.md` «не
пересоздаёт работающие `api`» не воспроизвёлся
(`evidence/rollout/compatibility.md`, шаг B):
(`evidence/rollout/compatibility.md`, шаг B и шаг 6 жизненного цикла):
- compose пересоздаёт реплики, у которых изменилось содержимое образа,
— все разом, с простоем;
- пересборка без изменений кода реплики не трогает.
@@ -435,11 +443,11 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` |
| Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` |
| Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` |
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова вперёд под `tests/load.py` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 25 347 / 20 114 / 20 713 / 19 199 запросов `tests/load.py` за четыре замены; контейнеров прежних реплик после замены нет | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md` |
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + `docker compose run --rm migrate` нового образа; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы; под чужой транзакцией `lock_timeout` 5 с → миграция падает с кодом 1, схема и реплики не тронуты, повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, `ROLLOUT_READY_TIMEOUT=1`, Ctrl+C во время дренажа под нагрузкой, порт 9999 LB из сети | код 2 до сборки; неготовая новая реплика удалена, работают 2 реплики `UP`; после Ctrl+C вывод старой доведён до удаления (код 130, 0 неуспешных запросов), повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети — отказ соединения | `evidence/rollout/script-failures.md` |
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; пересборка без изменений кода | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает; пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
| Регрессия на итоговом коде `rolling-update` | `make test`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов); регрессия нашла дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`), исправлен в `de654a1` и переснят | `evidence/tests/rolling-update-checks.md` |
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` |
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, слоты в ручном `maint` / `drain`, `ROLLOUT_READY_TIMEOUT=1`, настоящий Ctrl+C (^C в псевдотерминал под `make`) во время дренажа и внутри `up --scale` под нагрузкой, порт 9999 LB из сети и с хоста | код 2 до сборки (для слотов — с командой возврата в `ready`); неготовая новая реплика удалена, работают 2 реплики `UP`; Ctrl+C во время дренажа — вывод старой доведён до удаления, внутри `up --scale` — новая реплика найдена и удалена (до исправления в verify оставалась третья реплика), 0 неуспешных запросов, повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети и с хоста — отказ соединения | `evidence/rollout/script-failures.md` |
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; `make run_docker` поверх заменённых реплик | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает (те же ID); пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
| Регрессия на итоговом коде `rolling-update` (`84161c0`) | `make test`, `make student_test`, `make instances`, `make test-failover` (`stop` и `kill`, обе реплики), `make replicas`, `make test-persistence`, `make run_docker`, `make down` + `make run_docker`, две замены подряд — на репликах после замены; `make test_isolated`, `make failure_checks`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов, быстрые профили на чистом дереве); apply нашёл дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`, исправлен в `de654a1`), verify — уборку при Ctrl+C внутри `up --scale` и `lock_timeout`, равный `statement_timeout` (`5e102e6`, `84161c0`) | `evidence/tests/rolling-update-checks.md`, `evidence/rollout/compatibility.md` |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -457,7 +465,8 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
| остановка PostgreSQL | реплики отвечают 503 на `/health/ready`, LB исключает обе и отвечает 503 сам | первые ~2 с — 503 от API, затем 503 от LB на всё, включая `/health/live`; после запуска PostgreSQL обе реплики `UP` | 1,2–1,6 с после запуска PostgreSQL, без рестарта реплик и LB (`evidence/replicas/lb-errors.md`) |
| остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — `unhealthy` | так и есть; после `make replicas` — 200 через ~3 с | данные в Postgres не затронуты (`evidence/replicas/lb-errors.md`) |
| `scripts/restart.sh`: LB, обе реплики, Postgres, Valkey | данные и токен переживают рестарт | `PASS`; до прохождения проверок LB отвечал 503, реплики начинают в `DOWN` | 6,4 с на тест целиком; кэш пуст, данные целы (`evidence/replicas/test-persistence.md`) |
| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 25 347, 20 114 и 20 713 запросов; замена 10–14 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) |
| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 21 043, 16 687 и 18 480 запросов (`84161c0`); замена 10–12 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) |
| миграция ждёт блокировку `messages` за чужой 20-секундной транзакцией, через LB идут запись и чтение | миграция сдаётся по `lock_timeout`, запросы в очереди за ней выполняются | `lock_timeout` 5 с (apply): все 6 запросов из очереди — 503 через 5,03 с (`statement_timeout` приложения 5 с истёк вместе с ним); 2 с (`84161c0`): 0 ошибок, те же 6 запросов — 2,01–2,02 с | схема и реплики не тронуты, повтор после конца транзакции прошёл (`evidence/rollout/script-failures.md`, случай 7) |
### Отказ каждой реплики под нагрузкой (change `graceful-failover`)
@@ -573,6 +582,15 @@ swap занят 920 МиБ, но выгрузки за прогон не был
после одинаковы). Посторонних контейнеров нет, рабочий стенд
остановлен. Один прогон.
Итоговый код change — `84161c0`: после замера verify поменял пути сбоя
скрипта (уборка при Ctrl+C, предусловие о слотах, код выхода в строке) и
`lock_timeout` миграции (2 с вместо 5 с). Порядок замены и то, что видит
клиент, они не меняют: `lock_timeout` действует только при чужой
блокировке, а в замере миграция получает её за миллисекунды. Поэтому
полный замер не переснимался; быстрый профиль на `84161c0` — замена
8,1 с, 0 ошибок, сверка 7 301 = 7 301
(`evidence/tests/rolling-update-checks.md`).
**Результат** (`evidence/rollout/baseline/summary.md`):
| Шаг | Новая: старт → `UP` в LB, с | Дренаж старой, с | Остановка старой, с | Шаг целиком, с | Ошибок | Запросов старой после дренажа |
+267 -169
View File
@@ -2,277 +2,375 @@
| | |
|---|---|
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» |
| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) |
| Дата | 2026-10-10, 21:50–21:55 UTC; шаг G — 22:02–22:06 UTC |
| Commit | шаги A–F — `d2148ac` (код change); шаг G — `de654a1` (исправление шага миграций в скрипте, найдено регрессией); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены»; `graceful-shutdown` «Плановая остановка реплики без ошибок» — «Остановка после дренажа под нагрузкой», «Остановка за заявленный срок после дренажа»; `load-balancing` «Отказ одной реплики», «Failover hook» и `data-storage` «Данные переживают рестарт» — на заменённых репликах |
| Change | `rolling-update`, задачи 6.1 и 7.2 (design, решения 1, 3, 6, 7, 9, 12) |
| Дата | 2026-10-10, 22:38–22:47 UTC (переснято в verify; первая съёмка apply была на `d2148ac`, до исправления шага миграций в `de654a1`) |
| Commit | `84161c0` — итоговый код change; прежняя версия — `c50b721` (последний commit до change, образ `git archive c50b721 \| docker build`) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey; база пересоздана (`docker compose down -v`) на ревизии прежнего образа |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM. Проверки, не замер |
Нагрузка во время замены — публичный `tests/load.py` (закрытая модель,
4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через
LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера,
ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до
12 знаков.
Нагрузка во время замен — публичный `tests/load.py` (закрытая модель,
4 клиента, новое соединение на запрос, `POST` сообщения с ключом, таймаут
клиента 5 с) через LB. Снимки стенда — ID реплик, digest конфигурации
образа контейнера, ревизия схемы и `make lb_stats`. Короткие ID и digest
обрезаны до 12 знаков.
## A. Реплики на образе прежнего commit, схема прежняя
```sh
docker compose down -v # свой стенд, данные синтетические
git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 -
docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721
docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API
docker compose up -d --no-build --wait
```
```
tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29
tag mtusi-messenger:lab3 -> sha256:c8d334957a8f
container instance state image-config started
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25
mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f 2026-10-10T22:38:38
mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f 2026-10-10T22:38:38
revision: 7652184b7016
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
free slots: 6
```
`make test` — `PASS: lab3 public API scenario`.
## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`)
## B. Пересборка и `make run_docker` (бывший пункт `KNOWN_ISSUES.md`)
`KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker`
не пересоздаёт работающие `api`. Проверка, design, решение 9:
не пересоздаёт работающие `api`. Проверка (design, решение 9):
1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный
`make test_isolated` из рабочего дерева. Реплики при этом работали на
более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не
имя тега. `docker compose up -d --no-build` после смены тега
**пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`.
2. `docker compose build api` (образ `d2148ac`), затем `docker compose
--dry-run up -d`:
```sh
docker compose build api # образ 84161c0 под тем же тегом
docker compose --dry-run up -d
```
```
tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78
mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
Container mtusi-lab3-migrate-1 Recreate
Container mtusi-lab3-api-1 Recreate
Container mtusi-lab3-api-2 Recreate
```
```
tag now: sha256:dc116801d818 platform manifest: sha256:e0bef2fa2d84
mtusi-lab3-api-1 image sha256:c8d334957a8f label sha256:043a9c9b6cde
mtusi-lab3-api-2 image sha256:c8d334957a8f label sha256:043a9c9b6cde
Container mtusi-lab3-migrate-1 Recreate
Container mtusi-lab3-api-1 Recreate
Container mtusi-lab3-api-2 Recreate
mtusi-lab3-api-1 cd73e33d4838 Up 18 seconds (healthy) # после --dry-run те же
mtusi-lab3-api-2 937a5b8b84d8 Up 18 seconds (healthy)
```
Compose пересоздал бы обе реплики. `--dry-run` ничего не менял:
реплики после него — те же `08712146e7fb`, `dbbdd88923ce`.
3. Пересборка **без** изменений кода (после шага G) даёт новый digest
тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа
содержит отметки времени сборки. `--dry-run up -d` при этом
пересоздал бы только `migrate`, а реплики оставил бы (`api-7
Running`, `api-8 Running`).
Compose пересоздал бы обе реплики: метка контейнера
`com.docker.compose.image` (манифест платформы прежнего образа,
`043a9c9b6cde`) не совпадает с манифестом тега (`e0bef2fa2d84`).
Обратный случай — пересборка **без** изменений кода — снят настоящим
`make run_docker` поверх заменённых реплик (раздел «Жизненный цикл»,
шаг 6): реплики остались `Running` с прежними ID, хотя digest индекса
тега новый (индекс содержит отметки времени сборки).
Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера
`com.docker.compose.image` (манифест платформы) с манифестом тега и
пересоздаёт реплики только при изменении содержимого образа. В
хранилище containerd у образа три разных digest: индекс (`docker image
inspect` тега), манифест платформы (метка контейнера) и конфигурация
(поле `.Image` контейнера). `docker ps` показывает у реплик digest
конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики
verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт
изменённые реплики разом (простой), без простоя — `make
rolling_update`.
Вывод: дефект не воспроизводится. В хранилище containerd у образа три
digest: индекс (`docker image inspect` тега), манифест платформы (метка
контейнера) и конфигурация (поле `.Image` контейнера). `docker ps`
показывает у реплик digest конфигурации, а не имя тега. Отсюда,
вероятно, и ошибка диагностики verify `replicas-lb`. Пункт закрыт.
`make run_docker` пересоздаёт изменённые реплики разом (простой), без
простоя — `make rolling_update`.
## C. Новая миграция, реплики прежние
Перед этим — отказ миграции из-за чужой блокировки при `make
rolling_update` (`evidence/rollout/script-failures.md`, случай 5): схема
осталась `7652184b7016`, реплики не тронуты. После конца чужой
транзакции миграция — той же командой, что у скрипта (контейнер сервиса
`migrate` на новом образе), но без замены реплик:
```sh
docker compose run --rm --no-deps -T migrate # образ d2148ac
docker compose up --no-deps --no-build --force-recreate --abort-on-container-exit --exit-code-from migrate migrate
```
```
"event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
migrate exit=0
container instance state image-config
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29
mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f
mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f
revision: e656d6bbe1a4
mtusi-lab3-migrate-1 14f93e9a88a3 mtusi-messenger:lab3 Exited (0)
```
На **прежнем образе и новой схеме**:
- `make test` — `PASS: lab3 public API scenario`;
- `make student_test` через LB — `131 passed, 15 deselected`, гонка
ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`;
- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201,
ключа через обе прежние реплики `{'cd73e33d4838': 5, '937a5b8b84d8':
5}`;
- отправка через прежнюю реплику (`X-Instance-Id: 937a5b8b84d8`) — 201,
в строке сообщения `instance_id` = NULL: прежний код колонку не знает.
## D. `make rolling_update` под нагрузкой
```sh
python3 tests/load.py --duration 45 --concurrency 4 & # через LB
python3 tests/load.py --duration 40 --concurrency 4 & # через LB
make rolling_update # через 6 с после старта нагрузки
```
```
21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree
21:51:53 rolling-update: build done in 0s
21:51:55 rolling-update: migrate done in 2s
21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc
21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s
21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1
21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s
21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb
21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s)
21:52:00 rolling-update: replica 1/2: slot api-1 ready
21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9
21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s
21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2
21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s
21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce
21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s)
21:52:06 rolling-update: replica 2/2: slot api-2 ready
21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s
22:40:42 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
22:40:43 rolling-update: build done in 1s
22:40:45 rolling-update: migrate done in 2s
22:40:46 rolling-update: replica 1/2: started new 75d7fb69b0ee
22:40:47 rolling-update: replica 1/2: new 75d7fb69b0ee addr 172.30.0.7 slot api-3 UP in 2s
22:40:47 rolling-update: replica 1/2: drain old cd73e33d4838 addr 172.30.0.4 slot api-2
22:40:47 rolling-update: replica 1/2: old cd73e33d4838 idle after 0s
22:40:47 rolling-update: replica 1/2: maint slot api-2, stopping old cd73e33d4838
22:40:48 rolling-update: replica 1/2: removed old cd73e33d4838 (stop 1s, exit 0)
22:40:48 rolling-update: replica 1/2: slot api-2 ready
22:40:49 rolling-update: replica 2/2: started new 0bff4cad4dfd
22:40:51 rolling-update: replica 2/2: new 0bff4cad4dfd addr 172.30.0.4 slot api-2 UP in 3s
22:40:51 rolling-update: replica 2/2: drain old 937a5b8b84d8 addr 172.30.0.5 slot api-1
22:40:51 rolling-update: replica 2/2: old 937a5b8b84d8 idle after 0s
22:40:51 rolling-update: replica 2/2: maint slot api-1, stopping old 937a5b8b84d8
22:40:52 rolling-update: replica 2/2: removed old 937a5b8b84d8 (stop 1s, exit 0)
22:40:52 rolling-update: replica 2/2: slot api-1 ready
22:40:53 rolling-update: done: 2 replicas 75d7fb69b0ee 0bff4cad4dfd UP in 11s
```
Код выхода 0. Миграция в этом запуске — no-op: схема уже на
`e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка
`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс,
p99 14,5 мс.
`tests/load.py`: **21 043 успешных, 0 неуспешных** за 40 с, p95 11,4 мс,
p99 16,7 мс.
Остановка старых реплик после дренажа (журнал реплик `docker compose
logs -f api` на время замены; спек `graceful-shutdown`):
```
cd73e33d4838 22:40:47.968 Shutting down → 22:40:48.068 Waiting for application shutdown. → 22:40:48.079 Stopped API → 22:40:48.079 Finished server process [1]
937a5b8b84d8 22:40:51.646 Shutting down → 22:40:51.747 Waiting for application shutdown. → 22:40:51.761 Stopped API → 22:40:51.762 Finished server process [1]
```
Процесс завершается за 0,11 с после SIGTERM, код выхода 0 (строка
скрипта `exit 0`), а не 137: запросов в полёте нет, их уже забрали
другие реплики.
Журнал LB (`docker compose logs -t haproxy`, строки слотов):
```
21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed
21:51:58.403 Server api/api-1 enters drain state
21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance.
21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again).
21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed
21:52:03.628 Server api/api-2 enters drain state
21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance.
22:40:46.419 Server api/api-3 ('api') is DOWN/READY (resolves again).
22:40:47.256 Server api/api-3 is UP, reason: Layer7 check passed
22:40:47.682 Server api/api-2 enters drain state. … 0 sessions requeued
22:40:47.856 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
22:40:48.668 Server api/api-2 is leaving forced maintenance but remains in maintenance.
22:40:49.420 Server api/api-2 ('api') is DOWN/READY (resolves again).
22:40:51.059 Server api/api-2 is UP, reason: Layer7 check passed
22:40:51.404 Server api/api-1 enters drain state. … 0 sessions requeued
22:40:51.581 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
22:40:52.766 Server api/api-1 is leaving forced maintenance but remains in maintenance.
```
Новая реплика второго шага (`6985db2f2de9`) получила адрес
`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker
Новая реплика второго шага (`0bff4cad4dfd`) получила адрес
`172.30.0.4` и слот `api-2` только что удалённой старой: IPAM Docker
переиспользует адрес сразу. Поэтому слот возвращается в `ready` до
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с
выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx`
0 у всех слотов после замены.
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения
нет, выводимая реплика не получала запросов.
```
container instance state image-config
mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344
mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344
mtusi-lab3-api-3 75d7fb69b0ee running sha256:9cce27d595d4
mtusi-lab3-api-4 0bff4cad4dfd running sha256:9cce27d595d4
revision: e656d6bbe1a4
api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0
api-2 172.30.0.4:8080 UP L7OK scur 0 stot 21340 econ 0 hrsp_5xx 0
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 7154 econ 0 hrsp_5xx 0
free slots: 6
```
Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке
сообщения `instance_id` = `6e54da9d61bc`.
Отправка через новую реплику: `X-Instance-Id: 75d7fb69b0ee`, в строке
сообщения `instance_id` = `75d7fb69b0ee`. В журналах реплик за время
замены записей alembic нет (0 строк): миграции выполнял только
контейнер `migrate`.
## E. Откат на прежний образ под нагрузкой
```sh
python3 tests/load.py --duration 40 --concurrency 4 &
python3 tests/load.py --duration 35 --concurrency 4 &
make rolling_update COMMIT=c50b721 MIGRATE=0
```
```
21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721
21:53:01 rolling-update: build done in 1s
21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
22:41:37 rolling-update: start: 2 replicas 75d7fb69b0ee 0bff4cad4dfd, image mtusi-messenger:lab3 from c50b721
22:41:38 rolling-update: build done in 1s
22:41:38 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
…
21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s
22:41:41 rolling-update: replica 1/2: removed old 75d7fb69b0ee (stop 1s, exit 0)
…
22:41:45 rolling-update: replica 2/2: removed old 0bff4cad4dfd (stop 1s, exit 0)
22:41:47 rolling-update: done: 2 replicas 2e6096b6a3ce 5798b8ab3793 UP in 10s
```
Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики
снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` —
`PASS`. Откат кода не потребовал отката схемы.
Код выхода 0. Нагрузка — **16 687 успешных, 0 неуспешных**. Реплики
`api-5`, `api-6` снова на образе `c50b721` (`sha256:3ab984ebf6f4`), схема
осталась `e656d6bbe1a4`, `make test` — `PASS`. Откат кода не потребовал
отката схемы. Контейнер `migrate` остался на новом образе
(`sha256:9cce27d595d4`).
**Ограничение отката.** Тег `mtusi-messenger:lab3` теперь указывает на
прежний образ, а его миграции не знают новой ревизии:
```
$ docker compose --dry-run up -d --no-build
Container mtusi-lab3-api-5 Running
Container mtusi-lab3-api-6 Running
Container mtusi-lab3-migrate-1 Recreate
$ docker compose run --rm --no-deps -T migrate # тот же образ, одноразово; стенд не меняется
FAILED: Can't locate revision identified by 'e656d6bbe1a4'
exit=255
```
`docker compose up` без сборки пересоздал бы `migrate` на прежнем
образе, тот упал бы, и `restart.sh` перестал бы поднимать реплики (как
в регрессии apply, шаг G). Вперёд — снова `make rolling_update` (шаг F)
или `make run_docker` (сборка рабочего дерева, все реплики разом).
## F. Снова вперёд под нагрузкой
```sh
python3 tests/load.py --duration 40 --concurrency 4 &
python3 tests/load.py --duration 35 --concurrency 4 &
make rolling_update
```
Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция
— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**.
```
22:42:30 rolling-update: start: 2 replicas 2e6096b6a3ce 5798b8ab3793, image mtusi-messenger:lab3 from working tree
22:42:33 rolling-update: migrate done in 2s
22:42:36 rolling-update: replica 1/2: removed old 2e6096b6a3ce (stop 0s, exit 0)
22:42:40 rolling-update: replica 2/2: removed old 5798b8ab3793 (stop 0s, exit 0)
22:42:42 rolling-update: done: 2 replicas 56aa22ea1386 03a5fe1b9c4e UP in 12s
```
Код выхода 0, миграция — no-op. Нагрузка — **18 480 успешных, 0
неуспешных**.
```
mtusi-lab3-api-7 Up About a minute (healthy)
mtusi-lab3-api-8 Up About a minute (healthy)
mtusi-lab3-api-7 Up 26 seconds (healthy)
mtusi-lab3-api-8 Up 22 seconds (healthy)
mtusi-lab3-haproxy-1 Up 4 minutes (healthy)
mtusi-lab3-migrate-1 Exited (0) 4 minutes ago
mtusi-lab3-postgres-1 Up About an hour (healthy)
mtusi-lab3-valkey-1 Up About an hour (healthy)
mtusi-lab3-migrate-1 Exited (0) 26 seconds ago # образ sha256:5abf73f266fd — тот же, что у реплик
mtusi-lab3-postgres-1 Up 4 minutes (healthy)
mtusi-lab3-valkey-1 Up 4 minutes (healthy)
```
Контейнеров прежних реплик нет ни работающих, ни остановленных. `make
test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через
обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах
реплик записей alembic нет: миграции выполнял только одноразовый
контейнер.
обе новые реплики `{'03a5fe1b9c4e': 5, '56aa22ea1386': 5}`.
## G. Регрессия нашла дефект: контейнер `migrate` прежнего образа (commit `de654a1`)
## G. Регрессия apply: контейнер `migrate` прежнего образа
После шагов A–F регрессия `make test-persistence
ACTION_SCRIPT=scripts/restart.sh` упала: `FAIL: restart hook failed`.
Ручной запуск hook:
```
mtusi-lab3-migrate-1 fa0b32e4ccc5 Exited (255) 5 seconds ago
Container mtusi-lab3-migrate-1 Error service "migrate" didn't complete successfully: exit 255
```
Причина. Скрипт на `d2148ac` выполнял миграции одноразовым `docker
В apply (`d2148ac`) скрипт выполнял миграции одноразовым `docker
compose run --rm migrate`. Контейнер самого сервиса `migrate` оставался
от шага A, на образе `c50b721`. `restart.sh` делает `start api`, а
compose при этом запускает зависимость `migrate`, тот же контейнер.
Миграции `c50b721` не знают ревизии `e656d6bbe1a4` → «Can't locate
revision», exit 255, реплики не стартуют.
Исправление (`de654a1`, design, решение 1): скрипт пересоздаёт
контейнер сервиса на новом образе и выполняет миграцию в нём — `docker
compose up --no-deps --no-build --force-recreate
--abort-on-container-exit --exit-code-from migrate migrate`. Код выхода
миграции передаётся, ошибка по-прежнему останавливает замену до новых
реплик (`evidence/rollout/script-failures.md`, случай 5, повтор).
Повтор на рабочем стенде с `de654a1` (стенд вернули `docker compose up
--no-deps --force-recreate … migrate` и `docker compose start api
haproxy`):
```
python3 tests/load.py --duration 35 --concurrency 4 & # через LB
make rolling_update
22:05:02 rolling-update: start: 2 replicas 4180517b395f 5985a2b69f72, image mtusi-messenger:lab3 from working tree
22:05:05 rolling-update: migrate done in 2s
22:05:13 rolling-update: done: 2 replicas a7126827af39 b167830351fc UP in 11s
load: 19 199 успешных, 0 неуспешных
mtusi-lab3-api-12 sha256:0bf9d024b759…
mtusi-lab3-api-13 sha256:0bf9d024b759…
mtusi-lab3-migrate-1 sha256:0bf9d024b759… Exited (0)
```
`migrate` теперь на том же образе, что реплики. `make test-persistence
ACTION_SCRIPT=scripts/restart.sh` — `PASS`: перезапущены LB, обе
реплики, Postgres и Valkey, у всех новый `StartedAt`
(`evidence/tests/rolling-update-checks.md`).
на образе прежнего commit, `restart.sh` (`start api` запускает
зависимость `migrate`) гонял его миграции на новой схеме: «Can't locate
revision», exit 255, реплики не стартовали, `make test-persistence`
падал. С `de654a1` скрипт пересоздаёт контейнер сервиса на новом образе
(`up --force-recreate --exit-code-from migrate migrate`, design,
решение 1). Здесь после D, E и F `migrate` всегда на образе последней
замены вперёд, и `make test-persistence` проходит (раздел ниже, шаг 5).
## Какая версия записала сообщения
Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке
`instance_id`:
Сообщения за время шагов D–F и проверок после F (22:40:30–22:43:10 UTC)
по колонке `instance_id`:
```
instance_id | count | first | last
NULL | 31234 | 21:51:47 | 21:54:00
6e54da9d61bc | 10821 | 21:51:58 | 21:53:03
6985db2f2de9 | 10516 | 21:52:03 | 21:53:08
f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24
a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24
NULL | 26762 | 22:40:36 | 22:42:39
75d7fb69b0ee | 9320 | 22:40:47 | 22:41:40
0bff4cad4dfd | 9363 | 22:40:51 | 22:41:44
56aa22ea1386 | 5873 | 22:42:35 | 22:43:09
03a5fe1b9c4e | 4904 | 22:42:39 | 22:43:09
```
- NULL — записи реплик образа `c50b721`: до замены D и между откатом
E и шагом F.
- Остальное — реплики образа `d2148ac`, значение равно их
- NULL — записи реплик образа `c50b721`: до замены D и между откатом E
и шагом F.
- Остальное — реплики образа `84161c0`, значение равно их
`X-Instance-Id`.
Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему.
## Жизненный цикл стенда после замены
Реплики после замен называются `api-7`, `api-8` и дальше: compose
нумерует новые контейнеры сервиса по возрастанию. Всё штатное работает
с ними так же, как с `api-1` и `api-2`.
1. **Замена** — шаг F.
2. **`make instances`, `make lb_stats`:**
```
User lb_d656bc29: one login, 12 requests with one token
03a5fe1b9c4e: 6
56aa22ea1386: 6
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
free slots: 6
```
3. **`make test-failover ACTION_SCRIPT=scripts/stop-one.sh`**, между
прогонами `make replicas` (`STOP_ONE_LOG` — какой контейнер
остановлен):
| Режим | `TARGET_INSTANCE_ID` | Итог | Успешных записей / неудачных попыток | Первая запись, с | Контейнер после |
|---|---|---|---|---|---|
| `stop` | `56aa22ea1386` (api-7) | `PASS` | 117 / 0 | 1,10 | `Exited (0)` |
| `kill` | `56aa22ea1386` (api-7) | `PASS` | 111 / 1 | 0,23 | `Exited (137)` |
| `stop` | `56aa22ea1386` (api-7) | `PASS` | 113 / 0 | 1,10 | `Exited (0)` |
| `kill` | `03a5fe1b9c4e` (api-8) | `PASS` | 115 / 0 | 0,75 | `Exited (137)` |
Тест останавливает реплику, ответившую на его первую отправку. После
`make replicas` один сдвигающий запрос дважды не сменил её; для
второй реплики очередь сдвинута нечётным числом запросов (README,
«Сценарий защиты», п. 3). `make replicas` каждый раз возвращал тот же
контейнер, `healthy`.
4. **`make replicas`** — после каждого прогона, см. выше.
5. **`make test-persistence ACTION_SCRIPT=scripts/restart.sh`** —
`PASS`. `StartedAt` до → после: `api-7` 22:44:43 → 22:45:30, `api-8`
22:45:15 → 22:45:30, `haproxy` 22:38:38 → 22:45:30, `postgres`
22:38:35 → 22:45:26, `valkey` 22:38:34 → 22:45:26; `migrate` (образ
реплик) снова отработал без изменений схемы.
6. **`make run_docker` поверх заменённых реплик** — код 0:
```
Container mtusi-lab3-api-7 Running
Container mtusi-lab3-api-8 Running
Container mtusi-lab3-migrate-1 Started
mtusi-lab3-api-7 56aa22ea1386 Up 20 seconds (healthy) # те же ID
mtusi-lab3-api-8 03a5fe1b9c4e Up 20 seconds (healthy)
/mtusi-lab3-api-7 sha256:5abf73f266fd # образ = образ сборки, тег — новый индекс sha256:d13fb9790dd0
```
Реплик ровно `API_REPLICAS` (2), обе `UP`, образ — последней
сборки. Пересборка без изменений кода реплики не пересоздаёт.
7. **`make down` + `make run_docker`** — volume `mtusi-lab3_postgres_data`
остался, реплики созданы заново как `api-1` (`02cf5b10d956`) и `api-2`
(`5931a4f38e7a`). `make test`, запущенный сразу после `make
run_docker`, упал: LB ещё видел реплики `DOWN` — `run_docker` не ждёт
готовности (README: «Дождитесь /health/ready; затем make test»). Это
стенд, а не дефект: после `docker compose up -d --no-build --wait`
обе `UP`, `make test` — `PASS`.
8. **Две замены подряд** под одной нагрузкой `tests/load.py` (50 с):
```
22:46:32 rolling-update: start: 2 replicas 02cf5b10d956 5931a4f38e7a …
22:46:44 rolling-update: done: 2 replicas 91f6562746fb aa618c12a108 UP in 12s
22:46:45 rolling-update: start: 2 replicas 91f6562746fb aa618c12a108 …
22:46:56 rolling-update: done: 2 replicas ce709a45172a 3e2b3fab9106 UP in 11s
```
Нагрузка — **27 278 успешных, 0 неуспешных**. После каждой замены
`show servers state api`: занятые слоты — `srv_admin_state` 0,
свободные — 32 (только DNS), ручного состояния нет; свободных слотов
по-прежнему 6 из 8.
```
после 1: api-1 172.30.0.5 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32
после 2: api-2 172.30.0.4 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32
```
Слоты не копятся: одновременно занято не больше `API_REPLICAS` + 1,
адрес удалённой реплики уходит из слота по DNS за 1–2 с, после чего
слот возвращается в `ready`. Счётчик `econ 1` у `BACKEND` в этих
снимках — от `make test` шага 7, пока реплик в LB не было.
+178 -135
View File
@@ -2,30 +2,33 @@
| | |
|---|---|
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
| Дата | 2026-10-10, 21:56–22:01 UTC |
| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) |
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене», «Слот остался в ручном состоянии»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание при запуске новой реплики», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | `rolling-update`, задачи 6.2 и 7.2 (design, решения 1, 2, 5, 7, 12) |
| Дата | 2026-10-10, 22:31–22:49 UTC (переснято в verify; первая съёмка apply была на `d2148ac`) |
| Commit | `84161c0` — итоговый код change. Для сравнения «до исправления»: случай 4б — скрипт `69ebf5c`, случай 5 — ревизия с `lock_timeout` 5 с на `5e102e6` |
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; случай 5 — тот же стенд на шаге между A и C (реплики `c50b721`, схема `7652184b7016`) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
печатает `Error <код скрипта>` и сам выходит с кодом 2.
1 — сбой; 130 — прерван Ctrl+C. `make` при ошибке рецепта печатает
`Error <код скрипта>` и сам выходит с кодом 2; при Ctrl+C make
завершается тем же сигналом. Ручное состояние слота — `srv_admin_state`
из `show servers state api` (runtime API LB): 0 — штатно, 32 — нет
адреса (обслуживание по DNS), 1 — ручной `maint`, 8 — ручной `drain`.
## 1. Стенд не готов: остановленная реплика
```sh
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
TARGET_INSTANCE_ID=ce709a45172a scripts/stop-one.sh
make rolling_update
```
```
stop-one: stopped api container f8d83d5a98e8 (mode stop)
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
stop-one: stopped api container ce709a45172a (mode stop)
22:47:30 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
mtusi-lab3-api-5 ce709a45172a Exited (0) Less than a second ago
mtusi-lab3-api-6 3e2b3fab9106 Up 37 seconds (healthy)
```
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
@@ -39,172 +42,212 @@ API_REPLICAS=3 scripts/rolling-update.sh
```
```
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
22:47:32 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2
```
## 3. Новая реплика не стала готовой за срок
## 3. Слот остался в ручном состоянии
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
Так выглядит слот, если уборка прерванной замены сама не удалась.
Свободные слоты `api-6` и `api-7` вручную переведены в `maint` и `drain`:
```sh
set server api/api-6 state maint; set server api/api-7 state drain # runtime API LB
make rolling_update
```
```
22:47:33 rolling-update: error: LB slots left in manual drain/maint by an interrupted rollout: api-6 api-7; set each ready: docker compose exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/9999 && echo "set server api/<slot> state ready" >&3 && cat <&3'
make: *** [rolling_update] Error 2
show servers state api: … api-6 admin=33; api-7 admin=40; …
```
`make lb_stats` такие слоты не показывает (в нём только слоты с
адресом), а `show stat` даёт им `MAINT (resolution)`, как и штатно
свободным. Следующая реплика в таком слоте не получила бы запросов, и
замена упала бы только через 60 с ожидания `UP`. Напечатанная команда с
именем слота вернула оба в `admin=32`.
## 4. Новая реплика не стала готовой за срок
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2 с и за 1 с в LB не
попадёт.
```
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
21:57:01 rolling-update: build done in 1s
21:57:03 rolling-update: migrate done in 2s
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
22:47:39 rolling-update: start: 2 replicas ce709a45172a 3e2b3fab9106, image mtusi-messenger:lab3 from working tree
22:47:40 rolling-update: build done in 1s
22:47:42 rolling-update: migrate done in 2s
22:47:42 rolling-update: replica 1/2: started new 8ba15f93487d
22:47:43 rolling-update: error: replica 1/2: new replica 8ba15f93487d not UP in LB within 1s (container starting, LB no slot)
22:47:43 rolling-update: replica 1/2: removing new replica 8ba15f93487d that is not ready
22:47:43 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1
```
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
После сбоя работают прежние две реплики, обе `UP`, ручного состояния
нет (`api-2`, `api-3` — `admin=0`, остальные — 32). Адрес удалённой
реплики DNS успел положить в слот `api-1` уже после проверки скрипта
(22:47:43.166), слот был `DOWN 1/2` — до `UP` нужны две проверки — и
через секунду ушёл в обслуживание по DNS:
```
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
22:47:43.166 api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
22:47:44.176 Server api/api-1 was DOWN and now enters maintenance (No IP for server ).
```
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
`maint`, и удаление занимает ~1 с.
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`: процесс
с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(`KNOWN_ISSUES.md`), и `docker stop` ждал бы все 10 с. Если DNS уже
отдал ей слот, он сначала уходит в `maint`.
## 4. Ctrl+C во время дренажа под нагрузкой
## 5. Ctrl+C во время дренажа под нагрузкой
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
репозитория.
Настоящий Ctrl+C: `make rolling_update` запущен в псевдотерминале
(разовый `ctrlc.py` вне репозитория), после строки `drain old` в
терминал записан символ ^C — драйвер терминала сам шлёт SIGINT всей
foreground-группе (make, скрипт, docker CLI). Нагрузка — `tests/load.py`,
4 клиента, 40 с.
```
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
--- SIGINT to the process group (Ctrl+C) after «drain old»
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
21:57:38 rolling-update: replica 1/2: slot api-1 ready
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
--- exit 130, 1.7s after SIGINT
22:48:25 rolling-update: replica 1/2: new 3ecf110a0a86 addr 172.30.0.5 slot api-1 UP in 2s
22:48:25 rolling-update: replica 1/2: drain old ce709a45172a addr 172.30.0.4 slot api-2
--- ^C written to the terminal 0s after «drain old»
^C22:48:25 rolling-update: replica 1/2: new replica is UP, finishing removal of old ce709a45172a
22:48:25 rolling-update: replica 1/2: maint slot api-2, stopping old ce709a45172a
22:48:26 rolling-update: replica 1/2: removed old ce709a45172a (stop 1s, exit 0)
22:48:28 rolling-update: replica 1/2: slot api-2 ready
22:48:28 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
--- make завершён SIGINT через 2,8 с после ^C
```
- Нагрузка — 19 696 успешных, **0 неуспешных**.
- Нагрузка — 22 023 успешных, **0 неуспешных**.
- После прерывания работают две реплики, обе `UP`: новая
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
свободные — `admin=32`.
`3ecf110a0a86` и ещё не заменённая `3e2b3fab9106`. Ручного состояния у
слотов нет (`admin` 0 и 32).
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
5985a2b69f72 UP in 9s`, код 0.
3e2b3fab9106 3ecf110a0a86` → `done: 2 replicas b867a1c7b778
052cabd305e9 UP in 12s`, код 0.
## 5. Миграция не получила блокировку
## 6. Ctrl+C внутри `up --scale` (найдено в verify)
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
Тот же ^C через псевдотерминал, через 0,35–0,7 с после строки `migrate
done`, — пока compose создаёт новую реплику и её ID скрипту ещё не
известен.
Через образ миграций (`docker compose run --rm --no-deps -T -e
DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на
`d2148ac`):
**До исправления** (скрипт `69ebf5c`, без нагрузки, 22:31):
```
21:59:07 migrate started
21:59:14 migrate exit=1
22:31:22 rolling-update: migrate done in 2s
--- ^C written to the terminal 0.35s after «migrate done»
^C22:31:23 rolling-update: replica 1/2: removing new replica that is not ready
22:31:23 rolling-update: manual cleanup: docker rm -f ; make lb_stats shows slots in DRAIN or MAINT, set them ready
22:31:23 rolling-update: stopped: 3 api replicas running; rerun make rolling_update to finish
mtusi-lab3-api-14 7364b75042c9 Up Less than a second (health: starting) # третья реплика осталась
```
Уборка не знала ID новой и оставила `API_REPLICAS` + 1 реплик (третью
удалили вручную). На втором шаге было бы хуже: в переменной ещё лежал
ID новой реплики первого шага, уже рабочей, и уборка удалила бы её.
**После исправления** (`84161c0`; design, решение 12: ID сбрасывается до
перехода в это состояние, уборка ищет контейнер, которого не было до
`up --scale`), под нагрузкой `tests/load.py`:
```
22:49:11 rolling-update: migrate done in 3s
--- ^C written to the terminal 0.7s after «migrate done»
22:49:11 rolling-update: replica 1/2: removing new replica fca41fa99bf7 that is not ready
22:49:13 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
mtusi-lab3-api-8 b867a1c7b778 Up 41 seconds (healthy)
mtusi-lab3-api-9 052cabd305e9 Up 37 seconds (healthy)
show servers state api: api-2 172.30.0.4 admin=0; api-3 172.30.0.7 admin=0; остальные admin=32
```
Строки `started new` нет — прерывание пришлось внутрь `up --scale`.
Новая реплика найдена и удалена, работают две прежние, слоты чистые.
Нагрузка — 20 715 успешных, **0 неуспешных**. Повторный `make
rolling_update` — `done … UP in 14s`, код 0.
## 7. Миграция не получила блокировку
Схема на ревизии `7652184b7016`, реплики прежнего образа. Открытая
транзакция (`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`)
держит `ACCESS SHARE` на `messages` 20 с. Через 1 с — `make
rolling_update`: миграции `e656d6bbe1a4` нужен `ACCESS EXCLUSIVE` для
`ADD COLUMN`. Одновременно через LB идут запросы (`stall_probe.py`, разовый
вне репозитория: 4 потока записи с ключом и 2 потока чтения истории
подряд, таймаут клиента 15 с). Пока миграция ждёт блокировку, все
запросы к `messages` стоят в очереди за ней.
**До исправления: `lock_timeout` 5 с** (`5e102e6`, 22:35):
```
22:35:33 rolling-update: start: 2 replicas 5aee06ba7470 0203227f7702 …
22:35:35.786 Running upgrade 7652184b7016 -> e656d6bbe1a4
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
revision: 7652184b7016 # схема не изменилась
21:59:26 long transaction finished
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
revision: e656d6bbe1a4
22:35:41 rolling-update: error: migrations failed: no replica was replaced
writes: ok 12844, failed 4 {'503': 4}
reads: ok 7532, failed 2 {'503': 2}
slow 22:35:35.780 w 5.03s 503 … всего 6 запросов 22:35:35.780–.790, все 503 через 5,02–5,03 с
журнал реплик: "Database is unavailable" … "canceling statement due to statement timeout" × 6
```
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
ожидания блокировки). Схема не изменилась. Повтор после конца
транзакции прошёл.
Все 6 запросов, вставших в очередь, получили 503: `statement_timeout`
приложения (5 с) истёк одновременно с отказом миграции.
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
окружением проекта стенда:
**После исправления: `lock_timeout` 2 с** (`84161c0`, 22:39):
```
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
22:00:36 rolling-update: build done in 0s
LockNotAvailableError: canceling statement due to lock timeout
22:00:43 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 795269251e28 Up 21 seconds
mtusi-bench-api-2 d92929c3401b Up 21 seconds
revision: 7652184b7016
```
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
затем удалён (`down -v`).
Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate`
(`up --force-recreate --exit-code-from migrate`,
`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench`
на образе `c50b721`, транзакция держит `messages` 20 с:
```
22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
22:04:13 rolling-update: build done in 1s
LockNotAvailableError: canceling statement due to lock timeout
22:39:05 long transaction started
22:39:07 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
22:39:07 rolling-update: build done in 0s
migrate-1 | Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
migrate-1 | asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:04:19 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
revision: 7652184b7016
22:39:11 rolling-update: error: migrations failed: no replica was replaced
make exit=2
revision: 7652184b7016 # схема не изменилась
mtusi-lab3-api-1 cd73e33d4838 Up 33 seconds (healthy) # реплики не тронуты
mtusi-lab3-api-2 937a5b8b84d8 Up 33 seconds (healthy)
22:39:25 long transaction finished
writes: ok 14130, failed 0, p50 8 ms, p99 21 ms, max 2023 ms
reads: ok 8285, failed 0, p50 7 ms, p99 17 ms, max 2018 ms
slow 22:39:09.337 w 2.02s 201 … всего 6 запросов 22:39:09.337–.350, все успешны за 2,01–2,02 с
```
Повтор того же скрипта после конца транзакции:
Миграция сдалась через 2 с, схема и реплики не тронуты, ни одного
неуспешного запроса: очередь дождалась её отказа и выполнилась. После
конца транзакции миграция прошла той же командой
(`evidence/rollout/compatibility.md`, шаг C).
```
22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
22:04:33 rolling-update: migrate done in 1s
…
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
script exit=0
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
revision: e656d6bbe1a4
```
Стенд затем удалён (`down -v`).
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
ждало бы до конца чужой 20-секундной транзакции.
## 6. Канал управления LB недоступен из сети
## 8. Канал управления LB недоступен из сети и с хоста
```sh
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
docker port mtusi-lab3-haproxy-1
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/8404 …; …/8080 …'
docker compose exec -T api bash -c '…/dev/tcp/haproxy/9999 …'
docker port mtusi-lab3-haproxy-1; nc -z 127.0.0.1 9999
```
```
## другой контейнер в сети стенда
haproxy:9999 refused
haproxy:8404 connected
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
haproxy:8080 connected
## реплика api
haproxy:9999 refused
## хост
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
host 127.0.0.1:9999 refused
## внутри LB
Name: HAProxy
Version: 3.4.6-56332c5
слушающие сокеты (/proc/net/tcp): 0.0.0.0:8080, 0.0.0.0:8404, 127.0.0.1:9999, 127.0.0.11:<DNS Docker>
```
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
Порт 9999 слушает только `127.0.0.1` контейнера LB.
Порт 9999 слушает только loopback контейнера LB; команды доходят до него
только через `docker compose exec haproxy`. Стенд `bench/` монтирует тот
же `infra/haproxy/haproxy.cfg` и не публикует портов LB
(`bench/bench.compose.yml`, `ports: !reset []`), канал там устроен так
же; профиль `rollout` пользуется им тем же скриптом.
+96 -8
View File
@@ -3,13 +3,101 @@
| | |
|---|---|
| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook», «Поочерёдная замена реплик»; `data-storage` «Данные переживают рестарт»; `db-migrations` «Совместимость миграции с работающей версией»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Образ прежнего commit»; «Профиль отказа реплик» — «Быстрый профиль»; «Профиль поочерёдной замены» — «Быстрый профиль» |
| Change | `rolling-update`, задачи 5.1, 5.2 и 6.3 |
| Дата | 2026-10-10: до коммита кода — 21:47–21:50 UTC; на итоговом коде — 22:05–22:17 UTC |
| Commit | код — `de654a1` (`d2148ac` и исправление шага миграций в скрипте). Самопроверки `bench_failover_quick` и `bench_rollout_quick` записали `dirty: true`: в рабочем дереве были только правки `REPORT.md`, `design.md` и evidence, `git diff de654a1 --stat` кода не содержит |
| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update` с `de654a1`; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал |
| Change | `rolling-update`, задачи 5.1, 5.2, 6.3 и 7.2 |
| Дата | 2026-10-10: verify на итоговом коде — 22:38–23:00 UTC; apply — 21:47–21:50 UTC (до коммита кода) и 22:05–22:17 UTC (`de654a1`) |
| Commit | итоговый код — `84161c0` (verify: `5e102e6` — уборка и предусловия скрипта, `84161c0` — `lock_timeout` 2 с); история apply — `de654a1`. Самопроверки быстрых профилей на `84161c0` — `dirty: false`; в apply они записали `dirty: true` (в дереве были только документы) |
| Стенд | рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update`; свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд работал |
## Статические проверки (до коммита кода)
## Итоговый код `84161c0` (verify)
Код приложения после `de654a1` поменялся одной строкой — `lock_timeout`
ревизии `e656d6bbe1a4`; остальное — `scripts/rolling-update.sh` и
документы. Поэтому на итоговом commit переснято всё, что проходит через
скрипт или миграцию.
```text
$ make lint → All checks passed!
$ make check → PASS: offline skeleton structure, local refs and Python syntax
$ make validate PYTHON=.venv/bin/python → PASS: full OpenAPI 3.1 and JSON Schema validation # контракт не менялся
$ openspec validate rolling-update --strict → Change 'rolling-update' is valid
$ haproxy -c (haproxy:3.4.6, API_PORT=8080) → exit 0
$ dash -n scripts/rolling-update.sh → exit 0
```
Рабочий стенд через LB (подробно — `evidence/rollout/compatibility.md`,
раздел «Жизненный цикл стенда после замены»):
```text
$ make test / make student_test (прежний образ на новой схеме) → PASS; 131 passed, 15 deselected
$ make rolling_update / откат / снова вперёд под tests/load.py → exit 0 × 3; 0 неуспешных из 21 043 / 16 687 / 18 480
$ make test / make student_test (новые реплики api-7, api-8) → PASS; 131 passed, гонка {'03a5fe1b9c4e': 5, '56aa22ea1386': 5}
$ make instances → 03a5fe1b9c4e: 6, 56aa22ea1386: 6
$ make test-failover … stop / kill / stop / kill (make replicas между)
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386
{"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 1, "first_recovery_seconds": 0.234} # kill 56aa22ea1386
{"observed_instances_before": 2, "successful_writes": 113, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 0.751} # kill 03a5fe1b9c4e
PASS × 4
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS; новый StartedAt у LB, обеих реплик, Postgres, Valkey
$ make run_docker (поверх api-7, api-8) → exit 0; api-7, api-8 Running, те же ID
$ make down; make run_docker; make test → api-1, api-2 заново; PASS после готовности
$ make rolling_update × 2 подряд под tests/load.py → exit 0 × 2; 0 неуспешных из 27 278; слоты admin 0 / 32, свободных 6
```
Свои стенды:
```text
$ make bench_rollout_quick (22:50, dirty: false)
rollout: 8.12 s, errors before / during / after 0 / 0 [] / 0, min success 1.0, old after drain 0,
revision 7652184b7016 -> e656d6bbe1a4; retried 0, messages 7301 = keys 7301
[00:01:29] complete: 1/1 runs
строки скрипта: removed old 006feaed7042 (stop 1s, exit 0); removed old 1b33934b8011 (stop 0s, exit 0)
$ make bench_failover_quick (22:51, dirty: false)
phase 01-stop-r1: LB out 1.3 s (DOWN, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.76 s, …, messages 2301 = keys 2301
phase 02-stop-r2: LB out 1.27 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.94 s, …, messages 4602 = keys 4602
phase 03-kill-r1: LB out 0.25 s (MAINT, bound 2.5 s), errors 4 [502:4], recovery 0 s, back in LB 0.79 s, …, retried 4, messages 6903 = keys 6903
phase 04-kill-r2: LB out 1.05 s (MAINT, bound 2.5 s), errors 2 [502:2], recovery 0 s, back in LB 1.87 s, …, messages 9204 = keys 9204
[00:01:58] complete: 4/4 runs
```
Шаги быстрого профиля замены (`replicas.csv`, секунды от начала
замены):
| Шаг | Новая (слот) | Старая (слот) | Старт → `UP`, с | Дренаж, с | Остановка, с | Замена шага, с | Ошибок | Ответов старой после дренажа |
|---|---|---|---|---|---|---|---|---|
| 1 | `81f4d645b0af` (api-3) | `006feaed7042` (api-2) | 2,05 | 0,15 | 0,35 | 3,17 | 0 | 0 |
| 2 | `89bf0a03d122` (api-2) | `1b33934b8011` (api-1) | 1,13 | 0,15 | 0,36 | 2,38 | 0 | 0 |
`kill` в профиле `failover` по-прежнему даёт ответы 502: запросы в
полёте на убитой реплике, LB их не повторяет; неуспешные записи
повторены с тем же ключом без дублей. Это поведение отказа, не замены.
Приложение на итоговом коде (изменилась ревизия миграции):
```text
$ make test_isolated (22:56)
Running upgrade -> 16c279725564 … -> 7652184b7016 -> e656d6bbe1a4 # временная база test_<db>, с нуля
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
=========== 127 passed, 4 skipped, 15 deselected in 61.40s (0:01:01) ===========
[test_isolated] results: {'test': 0, 'student_test': 0}
$ make failure_checks (22:58)
===================== 15 passed, 131 deselected in 44.36s ======================
[failure_checks] results: {'fault': 0}
```
`make bench_quick` не переснимался: `bench/run.py` и код его профилей с
`de654a1` не менялись, а изменение ревизии проверено `test_isolated` и
быстрыми профилями выше.
## Apply: код `de654a1`
История: что снималось до verify. Числа ниже — на `de654a1`, итоговые —
в разделе выше.
### Статические проверки (до коммита кода)
```text
$ make lint → All checks passed!
@@ -23,7 +111,7 @@ $ dash -n scripts/rolling-update.sh → exit 0
`upgrade head` → `downgrade -1` → `upgrade head`, затем `alembic check`
— `No new upgrade operations detected.`, колонка `instance_id text`.
## Часть A: рабочий стенд через LB (`de654a1`)
### Часть A: рабочий стенд через LB (`de654a1`)
```text
$ make rolling_update (под tests/load.py) → exit 0; load: 19 199 успешных, 0 неуспешных
@@ -58,7 +146,7 @@ hook failed`. Контейнер `migrate` прежнего образа не з
ревизии. Разбор и исправление — `evidence/rollout/compatibility.md`,
шаг G; выше — повтор на исправленном коде.
## Часть B: свои стенды
### Часть B: свои стенды
```text
$ make test_isolated (до коммита: 21:47; на de654a1: 22:07)
+1 -1
View File
@@ -195,7 +195,7 @@ Evidence снимается с закоммиченного кода: комми
`migrations.md`, design (решения 7 и 12), `REPORT.md`. Проверка:
случай «миграция не получила блокировку» под нагрузкой — 0 ошибок,
коммит кода.
- [ ] 7.2 Evidence на итоговом commit кода:
- [x] 7.2 Evidence на итоговом commit кода (`84161c0`):
- `compatibility.md` — шаги A–G заново, с журналом остановки старых
реплик, `--dry-run` после отката и жизненным циклом стенда после
замены (`make instances`, `lb_stats`, `test-failover` `stop` и