docs: retake rolling-update evidence on the final verify commit
Re-run the compatibility walk-through, the script failure cases with a
real Ctrl+C through a pseudo-terminal, the stand lifecycle after
replacement and the quick rollout and failover self-checks on 84161c0
with a clean tree; update the report rows and limitations.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -300,17 +300,25 @@ contract):
|
||||
вставших в очередь, получили 503 вместе с отказом миграции; с 2 с — 0
|
||||
ошибок, задержка до 2 с (`evidence/rollout/script-failures.md`).
|
||||
|
||||
Проверено на рабочем стенде (`evidence/rollout/compatibility.md`):
|
||||
Проверено на рабочем стенде с итогового commit `84161c0`
|
||||
(`evidence/rollout/compatibility.md`):
|
||||
- реплики образа `c50b721` (до change) на схеме после новой миграции
|
||||
проходят `make test` и `make student_test` (131 passed);
|
||||
- `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова
|
||||
вперёд — под `tests/load.py`, 0 неуспешных запросов из 20–25 тысяч на
|
||||
каждый прогон;
|
||||
- по колонке видно, какая версия записала каждое сообщение.
|
||||
вперёд — под `tests/load.py`, 0 неуспешных запросов из 16–21 тысячи на
|
||||
каждый прогон; старые реплики после дренажа завершаются за 0,1 с с
|
||||
кодом 0;
|
||||
- по колонке видно, какая версия записала каждое сообщение;
|
||||
- после замен (реплики `api-7`, `api-8` и дальше) работают `make
|
||||
instances`, `make test-failover` в режимах `stop` и `kill`, `make
|
||||
replicas`, `make test-persistence`, `make run_docker` поверх
|
||||
заменённых реплик и `make down` + `make run_docker`; две замены подряд
|
||||
не оставляют слотов LB с ручным состоянием, свободных слотов — те же
|
||||
6 из 8.
|
||||
|
||||
**`make run_docker` и пересборка.** Пункт `KNOWN_ISSUES.md` «не
|
||||
пересоздаёт работающие `api`» не воспроизвёлся
|
||||
(`evidence/rollout/compatibility.md`, шаг B):
|
||||
(`evidence/rollout/compatibility.md`, шаг B и шаг 6 жизненного цикла):
|
||||
- compose пересоздаёт реплики, у которых изменилось содержимое образа,
|
||||
— все разом, с простоем;
|
||||
- пересборка без изменений кода реплики не трогает.
|
||||
@@ -435,11 +443,11 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
|
||||
| Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` |
|
||||
| Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` |
|
||||
| Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` |
|
||||
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова вперёд под `tests/load.py` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 25 347 / 20 114 / 20 713 / 19 199 запросов `tests/load.py` за четыре замены; контейнеров прежних реплик после замены нет | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md` |
|
||||
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + `docker compose run --rm migrate` нового образа; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы; под чужой транзакцией `lock_timeout` 5 с → миграция падает с кодом 1, схема и реплики не тронуты, повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
|
||||
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, `ROLLOUT_READY_TIMEOUT=1`, Ctrl+C во время дренажа под нагрузкой, порт 9999 LB из сети | код 2 до сборки; неготовая новая реплика удалена, работают 2 реплики `UP`; после Ctrl+C вывод старой доведён до удаления (код 130, 0 неуспешных запросов), повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети — отказ соединения | `evidence/rollout/script-failures.md` |
|
||||
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; пересборка без изменений кода | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает; пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
|
||||
| Регрессия на итоговом коде `rolling-update` | `make test`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов); регрессия нашла дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`), исправлен в `de654a1` и переснят | `evidence/tests/rolling-update-checks.md` |
|
||||
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` |
|
||||
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
|
||||
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, слоты в ручном `maint` / `drain`, `ROLLOUT_READY_TIMEOUT=1`, настоящий Ctrl+C (^C в псевдотерминал под `make`) во время дренажа и внутри `up --scale` под нагрузкой, порт 9999 LB из сети и с хоста | код 2 до сборки (для слотов — с командой возврата в `ready`); неготовая новая реплика удалена, работают 2 реплики `UP`; Ctrl+C во время дренажа — вывод старой доведён до удаления, внутри `up --scale` — новая реплика найдена и удалена (до исправления в verify оставалась третья реплика), 0 неуспешных запросов, повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети и с хоста — отказ соединения | `evidence/rollout/script-failures.md` |
|
||||
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; `make run_docker` поверх заменённых реплик | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает (те же ID); пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
|
||||
| Регрессия на итоговом коде `rolling-update` (`84161c0`) | `make test`, `make student_test`, `make instances`, `make test-failover` (`stop` и `kill`, обе реплики), `make replicas`, `make test-persistence`, `make run_docker`, `make down` + `make run_docker`, две замены подряд — на репликах после замены; `make test_isolated`, `make failure_checks`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов, быстрые профили на чистом дереве); apply нашёл дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`, исправлен в `de654a1`), verify — уборку при Ctrl+C внутри `up --scale` и `lock_timeout`, равный `statement_timeout` (`5e102e6`, `84161c0`) | `evidence/tests/rolling-update-checks.md`, `evidence/rollout/compatibility.md` |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
@@ -457,7 +465,8 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
|
||||
| остановка PostgreSQL | реплики отвечают 503 на `/health/ready`, LB исключает обе и отвечает 503 сам | первые ~2 с — 503 от API, затем 503 от LB на всё, включая `/health/live`; после запуска PostgreSQL обе реплики `UP` | 1,2–1,6 с после запуска PostgreSQL, без рестарта реплик и LB (`evidence/replicas/lb-errors.md`) |
|
||||
| остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — `unhealthy` | так и есть; после `make replicas` — 200 через ~3 с | данные в Postgres не затронуты (`evidence/replicas/lb-errors.md`) |
|
||||
| `scripts/restart.sh`: LB, обе реплики, Postgres, Valkey | данные и токен переживают рестарт | `PASS`; до прохождения проверок LB отвечал 503, реплики начинают в `DOWN` | 6,4 с на тест целиком; кэш пуст, данные целы (`evidence/replicas/test-persistence.md`) |
|
||||
| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 25 347, 20 114 и 20 713 запросов; замена 10–14 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) |
|
||||
| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 21 043, 16 687 и 18 480 запросов (`84161c0`); замена 10–12 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) |
|
||||
| миграция ждёт блокировку `messages` за чужой 20-секундной транзакцией, через LB идут запись и чтение | миграция сдаётся по `lock_timeout`, запросы в очереди за ней выполняются | `lock_timeout` 5 с (apply): все 6 запросов из очереди — 503 через 5,03 с (`statement_timeout` приложения 5 с истёк вместе с ним); 2 с (`84161c0`): 0 ошибок, те же 6 запросов — 2,01–2,02 с | схема и реплики не тронуты, повтор после конца транзакции прошёл (`evidence/rollout/script-failures.md`, случай 7) |
|
||||
|
||||
### Отказ каждой реплики под нагрузкой (change `graceful-failover`)
|
||||
|
||||
@@ -573,6 +582,15 @@ swap занят 920 МиБ, но выгрузки за прогон не был
|
||||
после одинаковы). Посторонних контейнеров нет, рабочий стенд
|
||||
остановлен. Один прогон.
|
||||
|
||||
Итоговый код change — `84161c0`: после замера verify поменял пути сбоя
|
||||
скрипта (уборка при Ctrl+C, предусловие о слотах, код выхода в строке) и
|
||||
`lock_timeout` миграции (2 с вместо 5 с). Порядок замены и то, что видит
|
||||
клиент, они не меняют: `lock_timeout` действует только при чужой
|
||||
блокировке, а в замере миграция получает её за миллисекунды. Поэтому
|
||||
полный замер не переснимался; быстрый профиль на `84161c0` — замена
|
||||
8,1 с, 0 ошибок, сверка 7 301 = 7 301
|
||||
(`evidence/tests/rolling-update-checks.md`).
|
||||
|
||||
**Результат** (`evidence/rollout/baseline/summary.md`):
|
||||
|
||||
| Шаг | Новая: старт → `UP` в LB, с | Дренаж старой, с | Остановка старой, с | Шаг целиком, с | Ошибок | Запросов старой после дренажа |
|
||||
|
||||
+267
-169
@@ -2,277 +2,375 @@
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» |
|
||||
| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) |
|
||||
| Дата | 2026-10-10, 21:50–21:55 UTC; шаг G — 22:02–22:06 UTC |
|
||||
| Commit | шаги A–F — `d2148ac` (код change); шаг G — `de654a1` (исправление шага миграций в скрипте, найдено регрессией); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
|
||||
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены»; `graceful-shutdown` «Плановая остановка реплики без ошибок» — «Остановка после дренажа под нагрузкой», «Остановка за заявленный срок после дренажа»; `load-balancing` «Отказ одной реплики», «Failover hook» и `data-storage` «Данные переживают рестарт» — на заменённых репликах |
|
||||
| Change | `rolling-update`, задачи 6.1 и 7.2 (design, решения 1, 3, 6, 7, 9, 12) |
|
||||
| Дата | 2026-10-10, 22:38–22:47 UTC (переснято в verify; первая съёмка apply была на `d2148ac`, до исправления шага миграций в `de654a1`) |
|
||||
| Commit | `84161c0` — итоговый код change; прежняя версия — `c50b721` (последний commit до change, образ `git archive c50b721 \| docker build`) |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey; база пересоздана (`docker compose down -v`) на ревизии прежнего образа |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM. Проверки, не замер |
|
||||
|
||||
Нагрузка во время замены — публичный `tests/load.py` (закрытая модель,
|
||||
4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через
|
||||
LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера,
|
||||
ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до
|
||||
12 знаков.
|
||||
Нагрузка во время замен — публичный `tests/load.py` (закрытая модель,
|
||||
4 клиента, новое соединение на запрос, `POST` сообщения с ключом, таймаут
|
||||
клиента 5 с) через LB. Снимки стенда — ID реплик, digest конфигурации
|
||||
образа контейнера, ревизия схемы и `make lb_stats`. Короткие ID и digest
|
||||
обрезаны до 12 знаков.
|
||||
|
||||
## A. Реплики на образе прежнего commit, схема прежняя
|
||||
|
||||
```sh
|
||||
docker compose down -v # свой стенд, данные синтетические
|
||||
git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 -
|
||||
docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721
|
||||
docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API
|
||||
docker compose up -d --no-build --wait
|
||||
```
|
||||
|
||||
```
|
||||
tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29
|
||||
tag mtusi-messenger:lab3 -> sha256:c8d334957a8f
|
||||
container instance state image-config started
|
||||
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25
|
||||
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25
|
||||
mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f 2026-10-10T22:38:38
|
||||
mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f 2026-10-10T22:38:38
|
||||
revision: 7652184b7016
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
free slots: 6
|
||||
```
|
||||
|
||||
`make test` — `PASS: lab3 public API scenario`.
|
||||
|
||||
## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`)
|
||||
## B. Пересборка и `make run_docker` (бывший пункт `KNOWN_ISSUES.md`)
|
||||
|
||||
`KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker`
|
||||
не пересоздаёт работающие `api`. Проверка, design, решение 9:
|
||||
не пересоздаёт работающие `api`. Проверка (design, решение 9):
|
||||
|
||||
1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный
|
||||
`make test_isolated` из рабочего дерева. Реплики при этом работали на
|
||||
более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не
|
||||
имя тега. `docker compose up -d --no-build` после смены тега
|
||||
**пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`.
|
||||
2. `docker compose build api` (образ `d2148ac`), затем `docker compose
|
||||
--dry-run up -d`:
|
||||
```sh
|
||||
docker compose build api # образ 84161c0 под тем же тегом
|
||||
docker compose --dry-run up -d
|
||||
```
|
||||
|
||||
```
|
||||
tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78
|
||||
mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
|
||||
mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
|
||||
Container mtusi-lab3-migrate-1 Recreate
|
||||
Container mtusi-lab3-api-1 Recreate
|
||||
Container mtusi-lab3-api-2 Recreate
|
||||
```
|
||||
```
|
||||
tag now: sha256:dc116801d818 platform manifest: sha256:e0bef2fa2d84
|
||||
mtusi-lab3-api-1 image sha256:c8d334957a8f label sha256:043a9c9b6cde
|
||||
mtusi-lab3-api-2 image sha256:c8d334957a8f label sha256:043a9c9b6cde
|
||||
Container mtusi-lab3-migrate-1 Recreate
|
||||
Container mtusi-lab3-api-1 Recreate
|
||||
Container mtusi-lab3-api-2 Recreate
|
||||
mtusi-lab3-api-1 cd73e33d4838 Up 18 seconds (healthy) # после --dry-run те же
|
||||
mtusi-lab3-api-2 937a5b8b84d8 Up 18 seconds (healthy)
|
||||
```
|
||||
|
||||
Compose пересоздал бы обе реплики. `--dry-run` ничего не менял:
|
||||
реплики после него — те же `08712146e7fb`, `dbbdd88923ce`.
|
||||
3. Пересборка **без** изменений кода (после шага G) даёт новый digest
|
||||
тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа
|
||||
содержит отметки времени сборки. `--dry-run up -d` при этом
|
||||
пересоздал бы только `migrate`, а реплики оставил бы (`api-7
|
||||
Running`, `api-8 Running`).
|
||||
Compose пересоздал бы обе реплики: метка контейнера
|
||||
`com.docker.compose.image` (манифест платформы прежнего образа,
|
||||
`043a9c9b6cde`) не совпадает с манифестом тега (`e0bef2fa2d84`).
|
||||
Обратный случай — пересборка **без** изменений кода — снят настоящим
|
||||
`make run_docker` поверх заменённых реплик (раздел «Жизненный цикл»,
|
||||
шаг 6): реплики остались `Running` с прежними ID, хотя digest индекса
|
||||
тега новый (индекс содержит отметки времени сборки).
|
||||
|
||||
Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера
|
||||
`com.docker.compose.image` (манифест платформы) с манифестом тега и
|
||||
пересоздаёт реплики только при изменении содержимого образа. В
|
||||
хранилище containerd у образа три разных digest: индекс (`docker image
|
||||
inspect` тега), манифест платформы (метка контейнера) и конфигурация
|
||||
(поле `.Image` контейнера). `docker ps` показывает у реплик digest
|
||||
конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики
|
||||
verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт
|
||||
изменённые реплики разом (простой), без простоя — `make
|
||||
rolling_update`.
|
||||
Вывод: дефект не воспроизводится. В хранилище containerd у образа три
|
||||
digest: индекс (`docker image inspect` тега), манифест платформы (метка
|
||||
контейнера) и конфигурация (поле `.Image` контейнера). `docker ps`
|
||||
показывает у реплик digest конфигурации, а не имя тега. Отсюда,
|
||||
вероятно, и ошибка диагностики verify `replicas-lb`. Пункт закрыт.
|
||||
`make run_docker` пересоздаёт изменённые реплики разом (простой), без
|
||||
простоя — `make rolling_update`.
|
||||
|
||||
## C. Новая миграция, реплики прежние
|
||||
|
||||
Перед этим — отказ миграции из-за чужой блокировки при `make
|
||||
rolling_update` (`evidence/rollout/script-failures.md`, случай 5): схема
|
||||
осталась `7652184b7016`, реплики не тронуты. После конца чужой
|
||||
транзакции миграция — той же командой, что у скрипта (контейнер сервиса
|
||||
`migrate` на новом образе), но без замены реплик:
|
||||
|
||||
```sh
|
||||
docker compose run --rm --no-deps -T migrate # образ d2148ac
|
||||
docker compose up --no-deps --no-build --force-recreate --abort-on-container-exit --exit-code-from migrate migrate
|
||||
```
|
||||
|
||||
```
|
||||
"event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
|
||||
migrate exit=0
|
||||
container instance state image-config
|
||||
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29
|
||||
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29
|
||||
mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f
|
||||
mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f
|
||||
revision: e656d6bbe1a4
|
||||
mtusi-lab3-migrate-1 14f93e9a88a3 mtusi-messenger:lab3 Exited (0)
|
||||
```
|
||||
|
||||
На **прежнем образе и новой схеме**:
|
||||
|
||||
- `make test` — `PASS: lab3 public API scenario`;
|
||||
- `make student_test` через LB — `131 passed, 15 deselected`, гонка
|
||||
ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`;
|
||||
- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201,
|
||||
ключа через обе прежние реплики `{'cd73e33d4838': 5, '937a5b8b84d8':
|
||||
5}`;
|
||||
- отправка через прежнюю реплику (`X-Instance-Id: 937a5b8b84d8`) — 201,
|
||||
в строке сообщения `instance_id` = NULL: прежний код колонку не знает.
|
||||
|
||||
## D. `make rolling_update` под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 45 --concurrency 4 & # через LB
|
||||
python3 tests/load.py --duration 40 --concurrency 4 & # через LB
|
||||
make rolling_update # через 6 с после старта нагрузки
|
||||
```
|
||||
|
||||
```
|
||||
21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree
|
||||
21:51:53 rolling-update: build done in 0s
|
||||
21:51:55 rolling-update: migrate done in 2s
|
||||
21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc
|
||||
21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s
|
||||
21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1
|
||||
21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s
|
||||
21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb
|
||||
21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s)
|
||||
21:52:00 rolling-update: replica 1/2: slot api-1 ready
|
||||
21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9
|
||||
21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s
|
||||
21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2
|
||||
21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s
|
||||
21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce
|
||||
21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s)
|
||||
21:52:06 rolling-update: replica 2/2: slot api-2 ready
|
||||
21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s
|
||||
22:40:42 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
|
||||
22:40:43 rolling-update: build done in 1s
|
||||
22:40:45 rolling-update: migrate done in 2s
|
||||
22:40:46 rolling-update: replica 1/2: started new 75d7fb69b0ee
|
||||
22:40:47 rolling-update: replica 1/2: new 75d7fb69b0ee addr 172.30.0.7 slot api-3 UP in 2s
|
||||
22:40:47 rolling-update: replica 1/2: drain old cd73e33d4838 addr 172.30.0.4 slot api-2
|
||||
22:40:47 rolling-update: replica 1/2: old cd73e33d4838 idle after 0s
|
||||
22:40:47 rolling-update: replica 1/2: maint slot api-2, stopping old cd73e33d4838
|
||||
22:40:48 rolling-update: replica 1/2: removed old cd73e33d4838 (stop 1s, exit 0)
|
||||
22:40:48 rolling-update: replica 1/2: slot api-2 ready
|
||||
22:40:49 rolling-update: replica 2/2: started new 0bff4cad4dfd
|
||||
22:40:51 rolling-update: replica 2/2: new 0bff4cad4dfd addr 172.30.0.4 slot api-2 UP in 3s
|
||||
22:40:51 rolling-update: replica 2/2: drain old 937a5b8b84d8 addr 172.30.0.5 slot api-1
|
||||
22:40:51 rolling-update: replica 2/2: old 937a5b8b84d8 idle after 0s
|
||||
22:40:51 rolling-update: replica 2/2: maint slot api-1, stopping old 937a5b8b84d8
|
||||
22:40:52 rolling-update: replica 2/2: removed old 937a5b8b84d8 (stop 1s, exit 0)
|
||||
22:40:52 rolling-update: replica 2/2: slot api-1 ready
|
||||
22:40:53 rolling-update: done: 2 replicas 75d7fb69b0ee 0bff4cad4dfd UP in 11s
|
||||
```
|
||||
|
||||
Код выхода 0. Миграция в этом запуске — no-op: схема уже на
|
||||
`e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка
|
||||
`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс,
|
||||
p99 14,5 мс.
|
||||
`tests/load.py`: **21 043 успешных, 0 неуспешных** за 40 с, p95 11,4 мс,
|
||||
p99 16,7 мс.
|
||||
|
||||
Остановка старых реплик после дренажа (журнал реплик `docker compose
|
||||
logs -f api` на время замены; спек `graceful-shutdown`):
|
||||
|
||||
```
|
||||
cd73e33d4838 22:40:47.968 Shutting down → 22:40:48.068 Waiting for application shutdown. → 22:40:48.079 Stopped API → 22:40:48.079 Finished server process [1]
|
||||
937a5b8b84d8 22:40:51.646 Shutting down → 22:40:51.747 Waiting for application shutdown. → 22:40:51.761 Stopped API → 22:40:51.762 Finished server process [1]
|
||||
```
|
||||
|
||||
Процесс завершается за 0,11 с после SIGTERM, код выхода 0 (строка
|
||||
скрипта `exit 0`), а не 137: запросов в полёте нет, их уже забрали
|
||||
другие реплики.
|
||||
|
||||
Журнал LB (`docker compose logs -t haproxy`, строки слотов):
|
||||
|
||||
```
|
||||
21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed
|
||||
21:51:58.403 Server api/api-1 enters drain state
|
||||
21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
|
||||
21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance.
|
||||
21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again).
|
||||
21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed
|
||||
21:52:03.628 Server api/api-2 enters drain state
|
||||
21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
|
||||
21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance.
|
||||
22:40:46.419 Server api/api-3 ('api') is DOWN/READY (resolves again).
|
||||
22:40:47.256 Server api/api-3 is UP, reason: Layer7 check passed
|
||||
22:40:47.682 Server api/api-2 enters drain state. … 0 sessions requeued
|
||||
22:40:47.856 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
|
||||
22:40:48.668 Server api/api-2 is leaving forced maintenance but remains in maintenance.
|
||||
22:40:49.420 Server api/api-2 ('api') is DOWN/READY (resolves again).
|
||||
22:40:51.059 Server api/api-2 is UP, reason: Layer7 check passed
|
||||
22:40:51.404 Server api/api-1 enters drain state. … 0 sessions requeued
|
||||
22:40:51.581 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
|
||||
22:40:52.766 Server api/api-1 is leaving forced maintenance but remains in maintenance.
|
||||
```
|
||||
|
||||
Новая реплика второго шага (`6985db2f2de9`) получила адрес
|
||||
`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker
|
||||
Новая реплика второго шага (`0bff4cad4dfd`) получила адрес
|
||||
`172.30.0.4` и слот `api-2` только что удалённой старой: IPAM Docker
|
||||
переиспользует адрес сразу. Поэтому слот возвращается в `ready` до
|
||||
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с
|
||||
выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx`
|
||||
0 у всех слотов после замены.
|
||||
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения
|
||||
нет, выводимая реплика не получала запросов.
|
||||
|
||||
```
|
||||
container instance state image-config
|
||||
mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344
|
||||
mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344
|
||||
mtusi-lab3-api-3 75d7fb69b0ee running sha256:9cce27d595d4
|
||||
mtusi-lab3-api-4 0bff4cad4dfd running sha256:9cce27d595d4
|
||||
revision: e656d6bbe1a4
|
||||
api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0
|
||||
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0
|
||||
api-2 172.30.0.4:8080 UP L7OK scur 0 stot 21340 econ 0 hrsp_5xx 0
|
||||
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 7154 econ 0 hrsp_5xx 0
|
||||
free slots: 6
|
||||
```
|
||||
|
||||
Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке
|
||||
сообщения `instance_id` = `6e54da9d61bc`.
|
||||
Отправка через новую реплику: `X-Instance-Id: 75d7fb69b0ee`, в строке
|
||||
сообщения `instance_id` = `75d7fb69b0ee`. В журналах реплик за время
|
||||
замены записей alembic нет (0 строк): миграции выполнял только
|
||||
контейнер `migrate`.
|
||||
|
||||
## E. Откат на прежний образ под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 40 --concurrency 4 &
|
||||
python3 tests/load.py --duration 35 --concurrency 4 &
|
||||
make rolling_update COMMIT=c50b721 MIGRATE=0
|
||||
```
|
||||
|
||||
```
|
||||
21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721
|
||||
21:53:01 rolling-update: build done in 1s
|
||||
21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
|
||||
22:41:37 rolling-update: start: 2 replicas 75d7fb69b0ee 0bff4cad4dfd, image mtusi-messenger:lab3 from c50b721
|
||||
22:41:38 rolling-update: build done in 1s
|
||||
22:41:38 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
|
||||
…
|
||||
21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s
|
||||
22:41:41 rolling-update: replica 1/2: removed old 75d7fb69b0ee (stop 1s, exit 0)
|
||||
…
|
||||
22:41:45 rolling-update: replica 2/2: removed old 0bff4cad4dfd (stop 1s, exit 0)
|
||||
22:41:47 rolling-update: done: 2 replicas 2e6096b6a3ce 5798b8ab3793 UP in 10s
|
||||
```
|
||||
|
||||
Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики
|
||||
снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` —
|
||||
`PASS`. Откат кода не потребовал отката схемы.
|
||||
Код выхода 0. Нагрузка — **16 687 успешных, 0 неуспешных**. Реплики
|
||||
`api-5`, `api-6` снова на образе `c50b721` (`sha256:3ab984ebf6f4`), схема
|
||||
осталась `e656d6bbe1a4`, `make test` — `PASS`. Откат кода не потребовал
|
||||
отката схемы. Контейнер `migrate` остался на новом образе
|
||||
(`sha256:9cce27d595d4`).
|
||||
|
||||
**Ограничение отката.** Тег `mtusi-messenger:lab3` теперь указывает на
|
||||
прежний образ, а его миграции не знают новой ревизии:
|
||||
|
||||
```
|
||||
$ docker compose --dry-run up -d --no-build
|
||||
Container mtusi-lab3-api-5 Running
|
||||
Container mtusi-lab3-api-6 Running
|
||||
Container mtusi-lab3-migrate-1 Recreate
|
||||
$ docker compose run --rm --no-deps -T migrate # тот же образ, одноразово; стенд не меняется
|
||||
FAILED: Can't locate revision identified by 'e656d6bbe1a4'
|
||||
exit=255
|
||||
```
|
||||
|
||||
`docker compose up` без сборки пересоздал бы `migrate` на прежнем
|
||||
образе, тот упал бы, и `restart.sh` перестал бы поднимать реплики (как
|
||||
в регрессии apply, шаг G). Вперёд — снова `make rolling_update` (шаг F)
|
||||
или `make run_docker` (сборка рабочего дерева, все реплики разом).
|
||||
|
||||
## F. Снова вперёд под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 40 --concurrency 4 &
|
||||
python3 tests/load.py --duration 35 --concurrency 4 &
|
||||
make rolling_update
|
||||
```
|
||||
|
||||
Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция
|
||||
— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**.
|
||||
```
|
||||
22:42:30 rolling-update: start: 2 replicas 2e6096b6a3ce 5798b8ab3793, image mtusi-messenger:lab3 from working tree
|
||||
22:42:33 rolling-update: migrate done in 2s
|
||||
22:42:36 rolling-update: replica 1/2: removed old 2e6096b6a3ce (stop 0s, exit 0)
|
||||
22:42:40 rolling-update: replica 2/2: removed old 5798b8ab3793 (stop 0s, exit 0)
|
||||
22:42:42 rolling-update: done: 2 replicas 56aa22ea1386 03a5fe1b9c4e UP in 12s
|
||||
```
|
||||
|
||||
Код выхода 0, миграция — no-op. Нагрузка — **18 480 успешных, 0
|
||||
неуспешных**.
|
||||
|
||||
```
|
||||
mtusi-lab3-api-7 Up About a minute (healthy)
|
||||
mtusi-lab3-api-8 Up About a minute (healthy)
|
||||
mtusi-lab3-api-7 Up 26 seconds (healthy)
|
||||
mtusi-lab3-api-8 Up 22 seconds (healthy)
|
||||
mtusi-lab3-haproxy-1 Up 4 minutes (healthy)
|
||||
mtusi-lab3-migrate-1 Exited (0) 4 minutes ago
|
||||
mtusi-lab3-postgres-1 Up About an hour (healthy)
|
||||
mtusi-lab3-valkey-1 Up About an hour (healthy)
|
||||
mtusi-lab3-migrate-1 Exited (0) 26 seconds ago # образ sha256:5abf73f266fd — тот же, что у реплик
|
||||
mtusi-lab3-postgres-1 Up 4 minutes (healthy)
|
||||
mtusi-lab3-valkey-1 Up 4 minutes (healthy)
|
||||
```
|
||||
|
||||
Контейнеров прежних реплик нет ни работающих, ни остановленных. `make
|
||||
test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через
|
||||
обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах
|
||||
реплик записей alembic нет: миграции выполнял только одноразовый
|
||||
контейнер.
|
||||
обе новые реплики `{'03a5fe1b9c4e': 5, '56aa22ea1386': 5}`.
|
||||
|
||||
## G. Регрессия нашла дефект: контейнер `migrate` прежнего образа (commit `de654a1`)
|
||||
## G. Регрессия apply: контейнер `migrate` прежнего образа
|
||||
|
||||
После шагов A–F регрессия `make test-persistence
|
||||
ACTION_SCRIPT=scripts/restart.sh` упала: `FAIL: restart hook failed`.
|
||||
Ручной запуск hook:
|
||||
|
||||
```
|
||||
mtusi-lab3-migrate-1 fa0b32e4ccc5 Exited (255) 5 seconds ago
|
||||
Container mtusi-lab3-migrate-1 Error service "migrate" didn't complete successfully: exit 255
|
||||
```
|
||||
|
||||
Причина. Скрипт на `d2148ac` выполнял миграции одноразовым `docker
|
||||
В apply (`d2148ac`) скрипт выполнял миграции одноразовым `docker
|
||||
compose run --rm migrate`. Контейнер самого сервиса `migrate` оставался
|
||||
от шага A, на образе `c50b721`. `restart.sh` делает `start api`, а
|
||||
compose при этом запускает зависимость `migrate`, тот же контейнер.
|
||||
Миграции `c50b721` не знают ревизии `e656d6bbe1a4` → «Can't locate
|
||||
revision», exit 255, реплики не стартуют.
|
||||
|
||||
Исправление (`de654a1`, design, решение 1): скрипт пересоздаёт
|
||||
контейнер сервиса на новом образе и выполняет миграцию в нём — `docker
|
||||
compose up --no-deps --no-build --force-recreate
|
||||
--abort-on-container-exit --exit-code-from migrate migrate`. Код выхода
|
||||
миграции передаётся, ошибка по-прежнему останавливает замену до новых
|
||||
реплик (`evidence/rollout/script-failures.md`, случай 5, повтор).
|
||||
|
||||
Повтор на рабочем стенде с `de654a1` (стенд вернули `docker compose up
|
||||
--no-deps --force-recreate … migrate` и `docker compose start api
|
||||
haproxy`):
|
||||
|
||||
```
|
||||
python3 tests/load.py --duration 35 --concurrency 4 & # через LB
|
||||
make rolling_update
|
||||
22:05:02 rolling-update: start: 2 replicas 4180517b395f 5985a2b69f72, image mtusi-messenger:lab3 from working tree
|
||||
22:05:05 rolling-update: migrate done in 2s
|
||||
22:05:13 rolling-update: done: 2 replicas a7126827af39 b167830351fc UP in 11s
|
||||
load: 19 199 успешных, 0 неуспешных
|
||||
|
||||
mtusi-lab3-api-12 sha256:0bf9d024b759…
|
||||
mtusi-lab3-api-13 sha256:0bf9d024b759…
|
||||
mtusi-lab3-migrate-1 sha256:0bf9d024b759… Exited (0)
|
||||
```
|
||||
|
||||
`migrate` теперь на том же образе, что реплики. `make test-persistence
|
||||
ACTION_SCRIPT=scripts/restart.sh` — `PASS`: перезапущены LB, обе
|
||||
реплики, Postgres и Valkey, у всех новый `StartedAt`
|
||||
(`evidence/tests/rolling-update-checks.md`).
|
||||
на образе прежнего commit, `restart.sh` (`start api` запускает
|
||||
зависимость `migrate`) гонял его миграции на новой схеме: «Can't locate
|
||||
revision», exit 255, реплики не стартовали, `make test-persistence`
|
||||
падал. С `de654a1` скрипт пересоздаёт контейнер сервиса на новом образе
|
||||
(`up --force-recreate --exit-code-from migrate migrate`, design,
|
||||
решение 1). Здесь после D, E и F `migrate` всегда на образе последней
|
||||
замены вперёд, и `make test-persistence` проходит (раздел ниже, шаг 5).
|
||||
|
||||
## Какая версия записала сообщения
|
||||
|
||||
Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке
|
||||
`instance_id`:
|
||||
Сообщения за время шагов D–F и проверок после F (22:40:30–22:43:10 UTC)
|
||||
по колонке `instance_id`:
|
||||
|
||||
```
|
||||
instance_id | count | first | last
|
||||
NULL | 31234 | 21:51:47 | 21:54:00
|
||||
6e54da9d61bc | 10821 | 21:51:58 | 21:53:03
|
||||
6985db2f2de9 | 10516 | 21:52:03 | 21:53:08
|
||||
f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24
|
||||
a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24
|
||||
NULL | 26762 | 22:40:36 | 22:42:39
|
||||
75d7fb69b0ee | 9320 | 22:40:47 | 22:41:40
|
||||
0bff4cad4dfd | 9363 | 22:40:51 | 22:41:44
|
||||
56aa22ea1386 | 5873 | 22:42:35 | 22:43:09
|
||||
03a5fe1b9c4e | 4904 | 22:42:39 | 22:43:09
|
||||
```
|
||||
|
||||
- NULL — записи реплик образа `c50b721`: до замены D и между откатом
|
||||
E и шагом F.
|
||||
- Остальное — реплики образа `d2148ac`, значение равно их
|
||||
- NULL — записи реплик образа `c50b721`: до замены D и между откатом E
|
||||
и шагом F.
|
||||
- Остальное — реплики образа `84161c0`, значение равно их
|
||||
`X-Instance-Id`.
|
||||
|
||||
Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему.
|
||||
|
||||
## Жизненный цикл стенда после замены
|
||||
|
||||
Реплики после замен называются `api-7`, `api-8` и дальше: compose
|
||||
нумерует новые контейнеры сервиса по возрастанию. Всё штатное работает
|
||||
с ними так же, как с `api-1` и `api-2`.
|
||||
|
||||
1. **Замена** — шаг F.
|
||||
2. **`make instances`, `make lb_stats`:**
|
||||
|
||||
```
|
||||
User lb_d656bc29: one login, 12 requests with one token
|
||||
03a5fe1b9c4e: 6
|
||||
56aa22ea1386: 6
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
free slots: 6
|
||||
```
|
||||
|
||||
3. **`make test-failover ACTION_SCRIPT=scripts/stop-one.sh`**, между
|
||||
прогонами `make replicas` (`STOP_ONE_LOG` — какой контейнер
|
||||
остановлен):
|
||||
|
||||
| Режим | `TARGET_INSTANCE_ID` | Итог | Успешных записей / неудачных попыток | Первая запись, с | Контейнер после |
|
||||
|---|---|---|---|---|---|
|
||||
| `stop` | `56aa22ea1386` (api-7) | `PASS` | 117 / 0 | 1,10 | `Exited (0)` |
|
||||
| `kill` | `56aa22ea1386` (api-7) | `PASS` | 111 / 1 | 0,23 | `Exited (137)` |
|
||||
| `stop` | `56aa22ea1386` (api-7) | `PASS` | 113 / 0 | 1,10 | `Exited (0)` |
|
||||
| `kill` | `03a5fe1b9c4e` (api-8) | `PASS` | 115 / 0 | 0,75 | `Exited (137)` |
|
||||
|
||||
Тест останавливает реплику, ответившую на его первую отправку. После
|
||||
`make replicas` один сдвигающий запрос дважды не сменил её; для
|
||||
второй реплики очередь сдвинута нечётным числом запросов (README,
|
||||
«Сценарий защиты», п. 3). `make replicas` каждый раз возвращал тот же
|
||||
контейнер, `healthy`.
|
||||
4. **`make replicas`** — после каждого прогона, см. выше.
|
||||
5. **`make test-persistence ACTION_SCRIPT=scripts/restart.sh`** —
|
||||
`PASS`. `StartedAt` до → после: `api-7` 22:44:43 → 22:45:30, `api-8`
|
||||
22:45:15 → 22:45:30, `haproxy` 22:38:38 → 22:45:30, `postgres`
|
||||
22:38:35 → 22:45:26, `valkey` 22:38:34 → 22:45:26; `migrate` (образ
|
||||
реплик) снова отработал без изменений схемы.
|
||||
6. **`make run_docker` поверх заменённых реплик** — код 0:
|
||||
|
||||
```
|
||||
Container mtusi-lab3-api-7 Running
|
||||
Container mtusi-lab3-api-8 Running
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
mtusi-lab3-api-7 56aa22ea1386 Up 20 seconds (healthy) # те же ID
|
||||
mtusi-lab3-api-8 03a5fe1b9c4e Up 20 seconds (healthy)
|
||||
/mtusi-lab3-api-7 sha256:5abf73f266fd # образ = образ сборки, тег — новый индекс sha256:d13fb9790dd0
|
||||
```
|
||||
|
||||
Реплик ровно `API_REPLICAS` (2), обе `UP`, образ — последней
|
||||
сборки. Пересборка без изменений кода реплики не пересоздаёт.
|
||||
7. **`make down` + `make run_docker`** — volume `mtusi-lab3_postgres_data`
|
||||
остался, реплики созданы заново как `api-1` (`02cf5b10d956`) и `api-2`
|
||||
(`5931a4f38e7a`). `make test`, запущенный сразу после `make
|
||||
run_docker`, упал: LB ещё видел реплики `DOWN` — `run_docker` не ждёт
|
||||
готовности (README: «Дождитесь /health/ready; затем make test»). Это
|
||||
стенд, а не дефект: после `docker compose up -d --no-build --wait`
|
||||
обе `UP`, `make test` — `PASS`.
|
||||
8. **Две замены подряд** под одной нагрузкой `tests/load.py` (50 с):
|
||||
|
||||
```
|
||||
22:46:32 rolling-update: start: 2 replicas 02cf5b10d956 5931a4f38e7a …
|
||||
22:46:44 rolling-update: done: 2 replicas 91f6562746fb aa618c12a108 UP in 12s
|
||||
22:46:45 rolling-update: start: 2 replicas 91f6562746fb aa618c12a108 …
|
||||
22:46:56 rolling-update: done: 2 replicas ce709a45172a 3e2b3fab9106 UP in 11s
|
||||
```
|
||||
|
||||
Нагрузка — **27 278 успешных, 0 неуспешных**. После каждой замены
|
||||
`show servers state api`: занятые слоты — `srv_admin_state` 0,
|
||||
свободные — 32 (только DNS), ручного состояния нет; свободных слотов
|
||||
по-прежнему 6 из 8.
|
||||
|
||||
```
|
||||
после 1: api-1 172.30.0.5 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32
|
||||
после 2: api-2 172.30.0.4 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32
|
||||
```
|
||||
|
||||
Слоты не копятся: одновременно занято не больше `API_REPLICAS` + 1,
|
||||
адрес удалённой реплики уходит из слота по DNS за 1–2 с, после чего
|
||||
слот возвращается в `ready`. Счётчик `econ 1` у `BACKEND` в этих
|
||||
снимках — от `make test` шага 7, пока реплик в LB не было.
|
||||
|
||||
+178
-135
@@ -2,30 +2,33 @@
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
|
||||
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
|
||||
| Дата | 2026-10-10, 21:56–22:01 UTC |
|
||||
| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) |
|
||||
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
|
||||
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене», «Слот остался в ручном состоянии»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание при запуске новой реплики», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
|
||||
| Change | `rolling-update`, задачи 6.2 и 7.2 (design, решения 1, 2, 5, 7, 12) |
|
||||
| Дата | 2026-10-10, 22:31–22:49 UTC (переснято в verify; первая съёмка apply была на `d2148ac`) |
|
||||
| Commit | `84161c0` — итоговый код change. Для сравнения «до исправления»: случай 4б — скрипт `69ebf5c`, случай 5 — ревизия с `lock_timeout` 5 с на `5e102e6` |
|
||||
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; случай 5 — тот же стенд на шаге между A и C (реплики `c50b721`, схема `7652184b7016`) |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
|
||||
|
||||
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
|
||||
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
|
||||
печатает `Error <код скрипта>` и сам выходит с кодом 2.
|
||||
1 — сбой; 130 — прерван Ctrl+C. `make` при ошибке рецепта печатает
|
||||
`Error <код скрипта>` и сам выходит с кодом 2; при Ctrl+C make
|
||||
завершается тем же сигналом. Ручное состояние слота — `srv_admin_state`
|
||||
из `show servers state api` (runtime API LB): 0 — штатно, 32 — нет
|
||||
адреса (обслуживание по DNS), 1 — ручной `maint`, 8 — ручной `drain`.
|
||||
|
||||
## 1. Стенд не готов: остановленная реплика
|
||||
|
||||
```sh
|
||||
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
|
||||
TARGET_INSTANCE_ID=ce709a45172a scripts/stop-one.sh
|
||||
make rolling_update
|
||||
```
|
||||
|
||||
```
|
||||
stop-one: stopped api container f8d83d5a98e8 (mode stop)
|
||||
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
|
||||
stop-one: stopped api container ce709a45172a (mode stop)
|
||||
22:47:30 rolling-update: error: stopped api replicas exist: run make replicas first
|
||||
make: *** [rolling_update] Error 2
|
||||
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
|
||||
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
|
||||
mtusi-lab3-api-5 ce709a45172a Exited (0) Less than a second ago
|
||||
mtusi-lab3-api-6 3e2b3fab9106 Up 37 seconds (healthy)
|
||||
```
|
||||
|
||||
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
|
||||
@@ -39,172 +42,212 @@ API_REPLICAS=3 scripts/rolling-update.sh
|
||||
```
|
||||
|
||||
```
|
||||
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
|
||||
22:47:32 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
|
||||
exit=2
|
||||
```
|
||||
|
||||
## 3. Новая реплика не стала готовой за срок
|
||||
## 3. Слот остался в ручном состоянии
|
||||
|
||||
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
|
||||
Так выглядит слот, если уборка прерванной замены сама не удалась.
|
||||
Свободные слоты `api-6` и `api-7` вручную переведены в `maint` и `drain`:
|
||||
|
||||
```sh
|
||||
set server api/api-6 state maint; set server api/api-7 state drain # runtime API LB
|
||||
make rolling_update
|
||||
```
|
||||
|
||||
```
|
||||
22:47:33 rolling-update: error: LB slots left in manual drain/maint by an interrupted rollout: api-6 api-7; set each ready: docker compose exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/9999 && echo "set server api/<slot> state ready" >&3 && cat <&3'
|
||||
make: *** [rolling_update] Error 2
|
||||
show servers state api: … api-6 admin=33; api-7 admin=40; …
|
||||
```
|
||||
|
||||
`make lb_stats` такие слоты не показывает (в нём только слоты с
|
||||
адресом), а `show stat` даёт им `MAINT (resolution)`, как и штатно
|
||||
свободным. Следующая реплика в таком слоте не получила бы запросов, и
|
||||
замена упала бы только через 60 с ожидания `UP`. Напечатанная команда с
|
||||
именем слота вернула оба в `admin=32`.
|
||||
|
||||
## 4. Новая реплика не стала готовой за срок
|
||||
|
||||
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2 с и за 1 с в LB не
|
||||
попадёт.
|
||||
|
||||
```
|
||||
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
|
||||
21:57:01 rolling-update: build done in 1s
|
||||
21:57:03 rolling-update: migrate done in 2s
|
||||
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
|
||||
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
|
||||
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
|
||||
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
22:47:39 rolling-update: start: 2 replicas ce709a45172a 3e2b3fab9106, image mtusi-messenger:lab3 from working tree
|
||||
22:47:40 rolling-update: build done in 1s
|
||||
22:47:42 rolling-update: migrate done in 2s
|
||||
22:47:42 rolling-update: replica 1/2: started new 8ba15f93487d
|
||||
22:47:43 rolling-update: error: replica 1/2: new replica 8ba15f93487d not UP in LB within 1s (container starting, LB no slot)
|
||||
22:47:43 rolling-update: replica 1/2: removing new replica 8ba15f93487d that is not ready
|
||||
22:47:43 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
make: *** [rolling_update] Error 1
|
||||
```
|
||||
|
||||
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
|
||||
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
|
||||
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
|
||||
После сбоя работают прежние две реплики, обе `UP`, ручного состояния
|
||||
нет (`api-2`, `api-3` — `admin=0`, остальные — 32). Адрес удалённой
|
||||
реплики DNS успел положить в слот `api-1` уже после проверки скрипта
|
||||
(22:47:43.166), слот был `DOWN 1/2` — до `UP` нужны две проверки — и
|
||||
через секунду ушёл в обслуживание по DNS:
|
||||
|
||||
```
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
|
||||
22:47:43.166 api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
|
||||
22:47:44.176 Server api/api-1 was DOWN and now enters maintenance (No IP for server ).
|
||||
```
|
||||
|
||||
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
|
||||
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
|
||||
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
|
||||
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
|
||||
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
|
||||
`maint`, и удаление занимает ~1 с.
|
||||
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`: процесс
|
||||
с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
|
||||
(`KNOWN_ISSUES.md`), и `docker stop` ждал бы все 10 с. Если DNS уже
|
||||
отдал ей слот, он сначала уходит в `maint`.
|
||||
|
||||
## 4. Ctrl+C во время дренажа под нагрузкой
|
||||
## 5. Ctrl+C во время дренажа под нагрузкой
|
||||
|
||||
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
|
||||
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
|
||||
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
|
||||
репозитория.
|
||||
Настоящий Ctrl+C: `make rolling_update` запущен в псевдотерминале
|
||||
(разовый `ctrlc.py` вне репозитория), после строки `drain old` в
|
||||
терминал записан символ ^C — драйвер терминала сам шлёт SIGINT всей
|
||||
foreground-группе (make, скрипт, docker CLI). Нагрузка — `tests/load.py`,
|
||||
4 клиента, 40 с.
|
||||
|
||||
```
|
||||
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
|
||||
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
|
||||
--- SIGINT to the process group (Ctrl+C) after «drain old»
|
||||
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
|
||||
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
|
||||
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
|
||||
21:57:38 rolling-update: replica 1/2: slot api-1 ready
|
||||
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
--- exit 130, 1.7s after SIGINT
|
||||
22:48:25 rolling-update: replica 1/2: new 3ecf110a0a86 addr 172.30.0.5 slot api-1 UP in 2s
|
||||
22:48:25 rolling-update: replica 1/2: drain old ce709a45172a addr 172.30.0.4 slot api-2
|
||||
--- ^C written to the terminal 0s after «drain old»
|
||||
^C22:48:25 rolling-update: replica 1/2: new replica is UP, finishing removal of old ce709a45172a
|
||||
22:48:25 rolling-update: replica 1/2: maint slot api-2, stopping old ce709a45172a
|
||||
22:48:26 rolling-update: replica 1/2: removed old ce709a45172a (stop 1s, exit 0)
|
||||
22:48:28 rolling-update: replica 1/2: slot api-2 ready
|
||||
22:48:28 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
make: *** [rolling_update] Error 130
|
||||
--- make завершён SIGINT через 2,8 с после ^C
|
||||
```
|
||||
|
||||
- Нагрузка — 19 696 успешных, **0 неуспешных**.
|
||||
- Нагрузка — 22 023 успешных, **0 неуспешных**.
|
||||
- После прерывания работают две реплики, обе `UP`: новая
|
||||
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
|
||||
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
|
||||
свободные — `admin=32`.
|
||||
`3ecf110a0a86` и ещё не заменённая `3e2b3fab9106`. Ручного состояния у
|
||||
слотов нет (`admin` 0 и 32).
|
||||
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
|
||||
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
|
||||
5985a2b69f72 UP in 9s`, код 0.
|
||||
3e2b3fab9106 3ecf110a0a86` → `done: 2 replicas b867a1c7b778
|
||||
052cabd305e9 UP in 12s`, код 0.
|
||||
|
||||
## 5. Миграция не получила блокировку
|
||||
## 6. Ctrl+C внутри `up --scale` (найдено в verify)
|
||||
|
||||
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
|
||||
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
|
||||
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
|
||||
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
|
||||
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
|
||||
Тот же ^C через псевдотерминал, через 0,35–0,7 с после строки `migrate
|
||||
done`, — пока compose создаёт новую реплику и её ID скрипту ещё не
|
||||
известен.
|
||||
|
||||
Через образ миграций (`docker compose run --rm --no-deps -T -e
|
||||
DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на
|
||||
`d2148ac`):
|
||||
**До исправления** (скрипт `69ebf5c`, без нагрузки, 22:31):
|
||||
|
||||
```
|
||||
21:59:07 migrate started
|
||||
21:59:14 migrate exit=1
|
||||
22:31:22 rolling-update: migrate done in 2s
|
||||
--- ^C written to the terminal 0.35s after «migrate done»
|
||||
^C22:31:23 rolling-update: replica 1/2: removing new replica that is not ready
|
||||
22:31:23 rolling-update: manual cleanup: docker rm -f ; make lb_stats shows slots in DRAIN or MAINT, set them ready
|
||||
22:31:23 rolling-update: stopped: 3 api replicas running; rerun make rolling_update to finish
|
||||
mtusi-lab3-api-14 7364b75042c9 Up Less than a second (health: starting) # третья реплика осталась
|
||||
```
|
||||
|
||||
Уборка не знала ID новой и оставила `API_REPLICAS` + 1 реплик (третью
|
||||
удалили вручную). На втором шаге было бы хуже: в переменной ещё лежал
|
||||
ID новой реплики первого шага, уже рабочей, и уборка удалила бы её.
|
||||
|
||||
**После исправления** (`84161c0`; design, решение 12: ID сбрасывается до
|
||||
перехода в это состояние, уборка ищет контейнер, которого не было до
|
||||
`up --scale`), под нагрузкой `tests/load.py`:
|
||||
|
||||
```
|
||||
22:49:11 rolling-update: migrate done in 3s
|
||||
--- ^C written to the terminal 0.7s after «migrate done»
|
||||
22:49:11 rolling-update: replica 1/2: removing new replica fca41fa99bf7 that is not ready
|
||||
22:49:13 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
make: *** [rolling_update] Error 130
|
||||
mtusi-lab3-api-8 b867a1c7b778 Up 41 seconds (healthy)
|
||||
mtusi-lab3-api-9 052cabd305e9 Up 37 seconds (healthy)
|
||||
show servers state api: api-2 172.30.0.4 admin=0; api-3 172.30.0.7 admin=0; остальные admin=32
|
||||
```
|
||||
|
||||
Строки `started new` нет — прерывание пришлось внутрь `up --scale`.
|
||||
Новая реплика найдена и удалена, работают две прежние, слоты чистые.
|
||||
Нагрузка — 20 715 успешных, **0 неуспешных**. Повторный `make
|
||||
rolling_update` — `done … UP in 14s`, код 0.
|
||||
|
||||
## 7. Миграция не получила блокировку
|
||||
|
||||
Схема на ревизии `7652184b7016`, реплики прежнего образа. Открытая
|
||||
транзакция (`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`)
|
||||
держит `ACCESS SHARE` на `messages` 20 с. Через 1 с — `make
|
||||
rolling_update`: миграции `e656d6bbe1a4` нужен `ACCESS EXCLUSIVE` для
|
||||
`ADD COLUMN`. Одновременно через LB идут запросы (`stall_probe.py`, разовый
|
||||
вне репозитория: 4 потока записи с ключом и 2 потока чтения истории
|
||||
подряд, таймаут клиента 15 с). Пока миграция ждёт блокировку, все
|
||||
запросы к `messages` стоят в очереди за ней.
|
||||
|
||||
**До исправления: `lock_timeout` 5 с** (`5e102e6`, 22:35):
|
||||
|
||||
```
|
||||
22:35:33 rolling-update: start: 2 replicas 5aee06ba7470 0203227f7702 …
|
||||
22:35:35.786 Running upgrade 7652184b7016 -> e656d6bbe1a4
|
||||
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
|
||||
revision: 7652184b7016 # схема не изменилась
|
||||
21:59:26 long transaction finished
|
||||
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
|
||||
revision: e656d6bbe1a4
|
||||
22:35:41 rolling-update: error: migrations failed: no replica was replaced
|
||||
writes: ok 12844, failed 4 {'503': 4}
|
||||
reads: ok 7532, failed 2 {'503': 2}
|
||||
slow 22:35:35.780 w 5.03s 503 … всего 6 запросов 22:35:35.780–.790, все 503 через 5,02–5,03 с
|
||||
журнал реплик: "Database is unavailable" … "canceling statement due to statement timeout" × 6
|
||||
```
|
||||
|
||||
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
|
||||
ожидания блокировки). Схема не изменилась. Повтор после конца
|
||||
транзакции прошёл.
|
||||
Все 6 запросов, вставших в очередь, получили 503: `statement_timeout`
|
||||
приложения (5 с) истёк одновременно с отказом миграции.
|
||||
|
||||
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
|
||||
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
|
||||
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
|
||||
окружением проекта стенда:
|
||||
**После исправления: `lock_timeout` 2 с** (`84161c0`, 22:39):
|
||||
|
||||
```
|
||||
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
|
||||
22:00:36 rolling-update: build done in 0s
|
||||
LockNotAvailableError: canceling statement due to lock timeout
|
||||
22:00:43 rolling-update: error: migrations failed: no replica was replaced
|
||||
script exit=1
|
||||
mtusi-bench-api-1 795269251e28 Up 21 seconds
|
||||
mtusi-bench-api-2 d92929c3401b Up 21 seconds
|
||||
revision: 7652184b7016
|
||||
```
|
||||
|
||||
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
|
||||
затем удалён (`down -v`).
|
||||
|
||||
Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate`
|
||||
(`up --force-recreate --exit-code-from migrate`,
|
||||
`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench`
|
||||
на образе `c50b721`, транзакция держит `messages` 20 с:
|
||||
|
||||
```
|
||||
22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
|
||||
22:04:13 rolling-update: build done in 1s
|
||||
LockNotAvailableError: canceling statement due to lock timeout
|
||||
22:39:05 long transaction started
|
||||
22:39:07 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
|
||||
22:39:07 rolling-update: build done in 0s
|
||||
migrate-1 | Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
|
||||
migrate-1 | asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
|
||||
migrate-1 exited with code 1
|
||||
22:04:19 rolling-update: error: migrations failed: no replica was replaced
|
||||
script exit=1
|
||||
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
|
||||
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
|
||||
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
|
||||
revision: 7652184b7016
|
||||
22:39:11 rolling-update: error: migrations failed: no replica was replaced
|
||||
make exit=2
|
||||
revision: 7652184b7016 # схема не изменилась
|
||||
mtusi-lab3-api-1 cd73e33d4838 Up 33 seconds (healthy) # реплики не тронуты
|
||||
mtusi-lab3-api-2 937a5b8b84d8 Up 33 seconds (healthy)
|
||||
22:39:25 long transaction finished
|
||||
writes: ok 14130, failed 0, p50 8 ms, p99 21 ms, max 2023 ms
|
||||
reads: ok 8285, failed 0, p50 7 ms, p99 17 ms, max 2018 ms
|
||||
slow 22:39:09.337 w 2.02s 201 … всего 6 запросов 22:39:09.337–.350, все успешны за 2,01–2,02 с
|
||||
```
|
||||
|
||||
Повтор того же скрипта после конца транзакции:
|
||||
Миграция сдалась через 2 с, схема и реплики не тронуты, ни одного
|
||||
неуспешного запроса: очередь дождалась её отказа и выполнилась. После
|
||||
конца транзакции миграция прошла той же командой
|
||||
(`evidence/rollout/compatibility.md`, шаг C).
|
||||
|
||||
```
|
||||
22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
|
||||
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
|
||||
22:04:33 rolling-update: migrate done in 1s
|
||||
…
|
||||
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
|
||||
script exit=0
|
||||
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
|
||||
revision: e656d6bbe1a4
|
||||
```
|
||||
|
||||
Стенд затем удалён (`down -v`).
|
||||
|
||||
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
|
||||
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
|
||||
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
|
||||
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
|
||||
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
|
||||
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
|
||||
ждало бы до конца чужой 20-секундной транзакции.
|
||||
|
||||
## 6. Канал управления LB недоступен из сети
|
||||
## 8. Канал управления LB недоступен из сети и с хоста
|
||||
|
||||
```sh
|
||||
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
|
||||
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
|
||||
docker port mtusi-lab3-haproxy-1
|
||||
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/8404 …; …/8080 …'
|
||||
docker compose exec -T api bash -c '…/dev/tcp/haproxy/9999 …'
|
||||
docker port mtusi-lab3-haproxy-1; nc -z 127.0.0.1 9999
|
||||
```
|
||||
|
||||
```
|
||||
## другой контейнер в сети стенда
|
||||
haproxy:9999 refused
|
||||
haproxy:8404 connected
|
||||
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
|
||||
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
|
||||
haproxy:8080 connected
|
||||
## реплика api
|
||||
haproxy:9999 refused
|
||||
## хост
|
||||
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
|
||||
host 127.0.0.1:9999 refused
|
||||
## внутри LB
|
||||
Name: HAProxy
|
||||
Version: 3.4.6-56332c5
|
||||
слушающие сокеты (/proc/net/tcp): 0.0.0.0:8080, 0.0.0.0:8404, 127.0.0.1:9999, 127.0.0.11:<DNS Docker>
|
||||
```
|
||||
|
||||
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
|
||||
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
|
||||
Порт 9999 слушает только `127.0.0.1` контейнера LB.
|
||||
Порт 9999 слушает только loopback контейнера LB; команды доходят до него
|
||||
только через `docker compose exec haproxy`. Стенд `bench/` монтирует тот
|
||||
же `infra/haproxy/haproxy.cfg` и не публикует портов LB
|
||||
(`bench/bench.compose.yml`, `ports: !reset []`), канал там устроен так
|
||||
же; профиль `rollout` пользуется им тем же скриптом.
|
||||
|
||||
@@ -3,13 +3,101 @@
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook», «Поочерёдная замена реплик»; `data-storage` «Данные переживают рестарт»; `db-migrations` «Совместимость миграции с работающей версией»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Образ прежнего commit»; «Профиль отказа реплик» — «Быстрый профиль»; «Профиль поочерёдной замены» — «Быстрый профиль» |
|
||||
| Change | `rolling-update`, задачи 5.1, 5.2 и 6.3 |
|
||||
| Дата | 2026-10-10: до коммита кода — 21:47–21:50 UTC; на итоговом коде — 22:05–22:17 UTC |
|
||||
| Commit | код — `de654a1` (`d2148ac` и исправление шага миграций в скрипте). Самопроверки `bench_failover_quick` и `bench_rollout_quick` записали `dirty: true`: в рабочем дереве были только правки `REPORT.md`, `design.md` и evidence, `git diff de654a1 --stat` кода не содержит |
|
||||
| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update` с `de654a1`; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал |
|
||||
| Change | `rolling-update`, задачи 5.1, 5.2, 6.3 и 7.2 |
|
||||
| Дата | 2026-10-10: verify на итоговом коде — 22:38–23:00 UTC; apply — 21:47–21:50 UTC (до коммита кода) и 22:05–22:17 UTC (`de654a1`) |
|
||||
| Commit | итоговый код — `84161c0` (verify: `5e102e6` — уборка и предусловия скрипта, `84161c0` — `lock_timeout` 2 с); история apply — `de654a1`. Самопроверки быстрых профилей на `84161c0` — `dirty: false`; в apply они записали `dirty: true` (в дереве были только документы) |
|
||||
| Стенд | рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update`; свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд работал |
|
||||
|
||||
## Статические проверки (до коммита кода)
|
||||
## Итоговый код `84161c0` (verify)
|
||||
|
||||
Код приложения после `de654a1` поменялся одной строкой — `lock_timeout`
|
||||
ревизии `e656d6bbe1a4`; остальное — `scripts/rolling-update.sh` и
|
||||
документы. Поэтому на итоговом commit переснято всё, что проходит через
|
||||
скрипт или миграцию.
|
||||
|
||||
```text
|
||||
$ make lint → All checks passed!
|
||||
$ make check → PASS: offline skeleton structure, local refs and Python syntax
|
||||
$ make validate PYTHON=.venv/bin/python → PASS: full OpenAPI 3.1 and JSON Schema validation # контракт не менялся
|
||||
$ openspec validate rolling-update --strict → Change 'rolling-update' is valid
|
||||
$ haproxy -c (haproxy:3.4.6, API_PORT=8080) → exit 0
|
||||
$ dash -n scripts/rolling-update.sh → exit 0
|
||||
```
|
||||
|
||||
Рабочий стенд через LB (подробно — `evidence/rollout/compatibility.md`,
|
||||
раздел «Жизненный цикл стенда после замены»):
|
||||
|
||||
```text
|
||||
$ make test / make student_test (прежний образ на новой схеме) → PASS; 131 passed, 15 deselected
|
||||
$ make rolling_update / откат / снова вперёд под tests/load.py → exit 0 × 3; 0 неуспешных из 21 043 / 16 687 / 18 480
|
||||
$ make test / make student_test (новые реплики api-7, api-8) → PASS; 131 passed, гонка {'03a5fe1b9c4e': 5, '56aa22ea1386': 5}
|
||||
$ make instances → 03a5fe1b9c4e: 6, 56aa22ea1386: 6
|
||||
$ make test-failover … stop / kill / stop / kill (make replicas между)
|
||||
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386
|
||||
{"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 1, "first_recovery_seconds": 0.234} # kill 56aa22ea1386
|
||||
{"observed_instances_before": 2, "successful_writes": 113, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386
|
||||
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 0.751} # kill 03a5fe1b9c4e
|
||||
PASS × 4
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS; новый StartedAt у LB, обеих реплик, Postgres, Valkey
|
||||
$ make run_docker (поверх api-7, api-8) → exit 0; api-7, api-8 Running, те же ID
|
||||
$ make down; make run_docker; make test → api-1, api-2 заново; PASS после готовности
|
||||
$ make rolling_update × 2 подряд под tests/load.py → exit 0 × 2; 0 неуспешных из 27 278; слоты admin 0 / 32, свободных 6
|
||||
```
|
||||
|
||||
Свои стенды:
|
||||
|
||||
```text
|
||||
$ make bench_rollout_quick (22:50, dirty: false)
|
||||
rollout: 8.12 s, errors before / during / after 0 / 0 [] / 0, min success 1.0, old after drain 0,
|
||||
revision 7652184b7016 -> e656d6bbe1a4; retried 0, messages 7301 = keys 7301
|
||||
[00:01:29] complete: 1/1 runs
|
||||
строки скрипта: removed old 006feaed7042 (stop 1s, exit 0); removed old 1b33934b8011 (stop 0s, exit 0)
|
||||
|
||||
$ make bench_failover_quick (22:51, dirty: false)
|
||||
phase 01-stop-r1: LB out 1.3 s (DOWN, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.76 s, …, messages 2301 = keys 2301
|
||||
phase 02-stop-r2: LB out 1.27 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.94 s, …, messages 4602 = keys 4602
|
||||
phase 03-kill-r1: LB out 0.25 s (MAINT, bound 2.5 s), errors 4 [502:4], recovery 0 s, back in LB 0.79 s, …, retried 4, messages 6903 = keys 6903
|
||||
phase 04-kill-r2: LB out 1.05 s (MAINT, bound 2.5 s), errors 2 [502:2], recovery 0 s, back in LB 1.87 s, …, messages 9204 = keys 9204
|
||||
[00:01:58] complete: 4/4 runs
|
||||
```
|
||||
|
||||
Шаги быстрого профиля замены (`replicas.csv`, секунды от начала
|
||||
замены):
|
||||
|
||||
| Шаг | Новая (слот) | Старая (слот) | Старт → `UP`, с | Дренаж, с | Остановка, с | Замена шага, с | Ошибок | Ответов старой после дренажа |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 1 | `81f4d645b0af` (api-3) | `006feaed7042` (api-2) | 2,05 | 0,15 | 0,35 | 3,17 | 0 | 0 |
|
||||
| 2 | `89bf0a03d122` (api-2) | `1b33934b8011` (api-1) | 1,13 | 0,15 | 0,36 | 2,38 | 0 | 0 |
|
||||
|
||||
`kill` в профиле `failover` по-прежнему даёт ответы 502: запросы в
|
||||
полёте на убитой реплике, LB их не повторяет; неуспешные записи
|
||||
повторены с тем же ключом без дублей. Это поведение отказа, не замены.
|
||||
|
||||
Приложение на итоговом коде (изменилась ревизия миграции):
|
||||
|
||||
```text
|
||||
$ make test_isolated (22:56)
|
||||
Running upgrade -> 16c279725564 … -> 7652184b7016 -> e656d6bbe1a4 # временная база test_<db>, с нуля
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
=========== 127 passed, 4 skipped, 15 deselected in 61.40s (0:01:01) ===========
|
||||
[test_isolated] results: {'test': 0, 'student_test': 0}
|
||||
|
||||
$ make failure_checks (22:58)
|
||||
===================== 15 passed, 131 deselected in 44.36s ======================
|
||||
[failure_checks] results: {'fault': 0}
|
||||
```
|
||||
|
||||
`make bench_quick` не переснимался: `bench/run.py` и код его профилей с
|
||||
`de654a1` не менялись, а изменение ревизии проверено `test_isolated` и
|
||||
быстрыми профилями выше.
|
||||
|
||||
## Apply: код `de654a1`
|
||||
|
||||
История: что снималось до verify. Числа ниже — на `de654a1`, итоговые —
|
||||
в разделе выше.
|
||||
|
||||
### Статические проверки (до коммита кода)
|
||||
|
||||
```text
|
||||
$ make lint → All checks passed!
|
||||
@@ -23,7 +111,7 @@ $ dash -n scripts/rolling-update.sh → exit 0
|
||||
`upgrade head` → `downgrade -1` → `upgrade head`, затем `alembic check`
|
||||
— `No new upgrade operations detected.`, колонка `instance_id text`.
|
||||
|
||||
## Часть A: рабочий стенд через LB (`de654a1`)
|
||||
### Часть A: рабочий стенд через LB (`de654a1`)
|
||||
|
||||
```text
|
||||
$ make rolling_update (под tests/load.py) → exit 0; load: 19 199 успешных, 0 неуспешных
|
||||
@@ -58,7 +146,7 @@ hook failed`. Контейнер `migrate` прежнего образа не з
|
||||
ревизии. Разбор и исправление — `evidence/rollout/compatibility.md`,
|
||||
шаг G; выше — повтор на исправленном коде.
|
||||
|
||||
## Часть B: свои стенды
|
||||
### Часть B: свои стенды
|
||||
|
||||
```text
|
||||
$ make test_isolated (до коммита: 21:47; на de654a1: 22:07)
|
||||
|
||||
@@ -195,7 +195,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
`migrations.md`, design (решения 7 и 12), `REPORT.md`. Проверка:
|
||||
случай «миграция не получила блокировку» под нагрузкой — 0 ошибок,
|
||||
коммит кода.
|
||||
- [ ] 7.2 Evidence на итоговом commit кода:
|
||||
- [x] 7.2 Evidence на итоговом commit кода (`84161c0`):
|
||||
- `compatibility.md` — шаги A–G заново, с журналом остановки старых
|
||||
реплик, `--dry-run` после отката и жизненным циклом стенда после
|
||||
замены (`make instances`, `lb_stats`, `test-failover` `stop` и
|
||||
|
||||
Reference in New Issue
Block a user