From 6f85d21f3b71aa2e8dfe7534b597d91035abf4d2 Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 01:56:30 +0300 Subject: [PATCH] docs: retake rolling-update evidence on the final verify commit Re-run the compatibility walk-through, the script failure cases with a real Ctrl+C through a pseudo-terminal, the stand lifecycle after replacement and the quick rollout and failover self-checks on 84161c0 with a clean tree; update the report rows and limitations. Co-Authored-By: Claude Opus 5.5 --- REPORT.md | 40 ++- evidence/rollout/compatibility.md | 436 ++++++++++++++--------- evidence/rollout/script-failures.md | 313 +++++++++------- evidence/tests/rolling-update-checks.md | 104 +++++- openspec/changes/rolling-update/tasks.md | 2 +- 5 files changed, 571 insertions(+), 324 deletions(-) diff --git a/REPORT.md b/REPORT.md index c22923ec..e17950a4 100644 --- a/REPORT.md +++ b/REPORT.md @@ -300,17 +300,25 @@ contract): вставших в очередь, получили 503 вместе с отказом миграции; с 2 с — 0 ошибок, задержка до 2 с (`evidence/rollout/script-failures.md`). -Проверено на рабочем стенде (`evidence/rollout/compatibility.md`): +Проверено на рабочем стенде с итогового commit `84161c0` +(`evidence/rollout/compatibility.md`): - реплики образа `c50b721` (до change) на схеме после новой миграции проходят `make test` и `make student_test` (131 passed); - `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова - вперёд — под `tests/load.py`, 0 неуспешных запросов из 20–25 тысяч на - каждый прогон; -- по колонке видно, какая версия записала каждое сообщение. + вперёд — под `tests/load.py`, 0 неуспешных запросов из 16–21 тысячи на + каждый прогон; старые реплики после дренажа завершаются за 0,1 с с + кодом 0; +- по колонке видно, какая версия записала каждое сообщение; +- после замен (реплики `api-7`, `api-8` и дальше) работают `make + instances`, `make test-failover` в режимах `stop` и `kill`, `make + replicas`, `make test-persistence`, `make run_docker` поверх + заменённых реплик и `make down` + `make run_docker`; две замены подряд + не оставляют слотов LB с ручным состоянием, свободных слотов — те же + 6 из 8. **`make run_docker` и пересборка.** Пункт `KNOWN_ISSUES.md` «не пересоздаёт работающие `api`» не воспроизвёлся -(`evidence/rollout/compatibility.md`, шаг B): +(`evidence/rollout/compatibility.md`, шаг B и шаг 6 жизненного цикла): - compose пересоздаёт реплики, у которых изменилось содержимое образа, — все разом, с простоем; - пересборка без изменений кода реплики не трогает. @@ -435,11 +443,11 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`, | Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` | | Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` | | Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` | -| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова вперёд под `tests/load.py` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 25 347 / 20 114 / 20 713 / 19 199 запросов `tests/load.py` за четыре замены; контейнеров прежних реплик после замены нет | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md` | -| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + `docker compose run --rm migrate` нового образа; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы; под чужой транзакцией `lock_timeout` 5 с → миграция падает с кодом 1, схема и реплики не тронуты, повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` | -| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, `ROLLOUT_READY_TIMEOUT=1`, Ctrl+C во время дренажа под нагрузкой, порт 9999 LB из сети | код 2 до сборки; неготовая новая реплика удалена, работают 2 реплики `UP`; после Ctrl+C вывод старой доведён до удаления (код 130, 0 неуспешных запросов), повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети — отказ соединения | `evidence/rollout/script-failures.md` | -| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; пересборка без изменений кода | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает; пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` | -| Регрессия на итоговом коде `rolling-update` | `make test`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов); регрессия нашла дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`), исправлен в `de654a1` и переснят | `evidence/tests/rolling-update-checks.md` | +| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` | +| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` | +| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, слоты в ручном `maint` / `drain`, `ROLLOUT_READY_TIMEOUT=1`, настоящий Ctrl+C (^C в псевдотерминал под `make`) во время дренажа и внутри `up --scale` под нагрузкой, порт 9999 LB из сети и с хоста | код 2 до сборки (для слотов — с командой возврата в `ready`); неготовая новая реплика удалена, работают 2 реплики `UP`; Ctrl+C во время дренажа — вывод старой доведён до удаления, внутри `up --scale` — новая реплика найдена и удалена (до исправления в verify оставалась третья реплика), 0 неуспешных запросов, повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети и с хоста — отказ соединения | `evidence/rollout/script-failures.md` | +| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; `make run_docker` поверх заменённых реплик | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает (те же ID); пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` | +| Регрессия на итоговом коде `rolling-update` (`84161c0`) | `make test`, `make student_test`, `make instances`, `make test-failover` (`stop` и `kill`, обе реплики), `make replicas`, `make test-persistence`, `make run_docker`, `make down` + `make run_docker`, две замены подряд — на репликах после замены; `make test_isolated`, `make failure_checks`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов, быстрые профили на чистом дереве); apply нашёл дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`, исправлен в `de654a1`), verify — уборку при Ctrl+C внутри `up --scale` и `lock_timeout`, равный `statement_timeout` (`5e102e6`, `84161c0`) | `evidence/tests/rolling-update-checks.md`, `evidence/rollout/compatibility.md` | | Выбранный трек 5, если заявлен | TODO | TODO | TODO | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -457,7 +465,8 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн | остановка PostgreSQL | реплики отвечают 503 на `/health/ready`, LB исключает обе и отвечает 503 сам | первые ~2 с — 503 от API, затем 503 от LB на всё, включая `/health/live`; после запуска PostgreSQL обе реплики `UP` | 1,2–1,6 с после запуска PostgreSQL, без рестарта реплик и LB (`evidence/replicas/lb-errors.md`) | | остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — `unhealthy` | так и есть; после `make replicas` — 200 через ~3 с | данные в Postgres не затронуты (`evidence/replicas/lb-errors.md`) | | `scripts/restart.sh`: LB, обе реплики, Postgres, Valkey | данные и токен переживают рестарт | `PASS`; до прохождения проверок LB отвечал 503, реплики начинают в `DOWN` | 6,4 с на тест целиком; кэш пуст, данные целы (`evidence/replicas/test-persistence.md`) | -| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 25 347, 20 114 и 20 713 запросов; замена 10–14 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) | +| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 21 043, 16 687 и 18 480 запросов (`84161c0`); замена 10–12 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) | +| миграция ждёт блокировку `messages` за чужой 20-секундной транзакцией, через LB идут запись и чтение | миграция сдаётся по `lock_timeout`, запросы в очереди за ней выполняются | `lock_timeout` 5 с (apply): все 6 запросов из очереди — 503 через 5,03 с (`statement_timeout` приложения 5 с истёк вместе с ним); 2 с (`84161c0`): 0 ошибок, те же 6 запросов — 2,01–2,02 с | схема и реплики не тронуты, повтор после конца транзакции прошёл (`evidence/rollout/script-failures.md`, случай 7) | ### Отказ каждой реплики под нагрузкой (change `graceful-failover`) @@ -573,6 +582,15 @@ swap занят 920 МиБ, но выгрузки за прогон не был после одинаковы). Посторонних контейнеров нет, рабочий стенд остановлен. Один прогон. +Итоговый код change — `84161c0`: после замера verify поменял пути сбоя +скрипта (уборка при Ctrl+C, предусловие о слотах, код выхода в строке) и +`lock_timeout` миграции (2 с вместо 5 с). Порядок замены и то, что видит +клиент, они не меняют: `lock_timeout` действует только при чужой +блокировке, а в замере миграция получает её за миллисекунды. Поэтому +полный замер не переснимался; быстрый профиль на `84161c0` — замена +8,1 с, 0 ошибок, сверка 7 301 = 7 301 +(`evidence/tests/rolling-update-checks.md`). + **Результат** (`evidence/rollout/baseline/summary.md`): | Шаг | Новая: старт → `UP` в LB, с | Дренаж старой, с | Остановка старой, с | Шаг целиком, с | Ошибок | Запросов старой после дренажа | diff --git a/evidence/rollout/compatibility.md b/evidence/rollout/compatibility.md index 8d60b763..319f922d 100644 --- a/evidence/rollout/compatibility.md +++ b/evidence/rollout/compatibility.md @@ -2,277 +2,375 @@ | | | |---|---| -| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» | -| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) | -| Дата | 2026-10-10, 21:50–21:55 UTC; шаг G — 22:02–22:06 UTC | -| Commit | шаги A–F — `d2148ac` (код change); шаг G — `de654a1` (исправление шага миграций в скрипте, найдено регрессией); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) | -| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок | -| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | +| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены»; `graceful-shutdown` «Плановая остановка реплики без ошибок» — «Остановка после дренажа под нагрузкой», «Остановка за заявленный срок после дренажа»; `load-balancing` «Отказ одной реплики», «Failover hook» и `data-storage` «Данные переживают рестарт» — на заменённых репликах | +| Change | `rolling-update`, задачи 6.1 и 7.2 (design, решения 1, 3, 6, 7, 9, 12) | +| Дата | 2026-10-10, 22:38–22:47 UTC (переснято в verify; первая съёмка apply была на `d2148ac`, до исправления шага миграций в `de654a1`) | +| Commit | `84161c0` — итоговый код change; прежняя версия — `c50b721` (последний commit до change, образ `git archive c50b721 \| docker build`) | +| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey; база пересоздана (`docker compose down -v`) на ревизии прежнего образа | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM. Проверки, не замер | -Нагрузка во время замены — публичный `tests/load.py` (закрытая модель, -4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через -LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера, -ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до -12 знаков. +Нагрузка во время замен — публичный `tests/load.py` (закрытая модель, +4 клиента, новое соединение на запрос, `POST` сообщения с ключом, таймаут +клиента 5 с) через LB. Снимки стенда — ID реплик, digest конфигурации +образа контейнера, ревизия схемы и `make lb_stats`. Короткие ID и digest +обрезаны до 12 знаков. ## A. Реплики на образе прежнего commit, схема прежняя ```sh +docker compose down -v # свой стенд, данные синтетические git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 - -docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721 -docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API +docker compose up -d --no-build --wait ``` ``` -tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29 +tag mtusi-messenger:lab3 -> sha256:c8d334957a8f container instance state image-config started -mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25 -mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25 +mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f 2026-10-10T22:38:38 +mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f 2026-10-10T22:38:38 revision: 7652184b7016 api-1 172.30.0.5:8080 UP L7OK api-2 172.30.0.4:8080 UP L7OK +free slots: 6 ``` `make test` — `PASS: lab3 public API scenario`. -## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`) +## B. Пересборка и `make run_docker` (бывший пункт `KNOWN_ISSUES.md`) `KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker` -не пересоздаёт работающие `api`. Проверка, design, решение 9: +не пересоздаёт работающие `api`. Проверка (design, решение 9): -1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный - `make test_isolated` из рабочего дерева. Реплики при этом работали на - более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не - имя тега. `docker compose up -d --no-build` после смены тега - **пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`. -2. `docker compose build api` (образ `d2148ac`), затем `docker compose - --dry-run up -d`: +```sh +docker compose build api # образ 84161c0 под тем же тегом +docker compose --dry-run up -d +``` - ``` - tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78 - mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde - mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde - Container mtusi-lab3-migrate-1 Recreate - Container mtusi-lab3-api-1 Recreate - Container mtusi-lab3-api-2 Recreate - ``` +``` +tag now: sha256:dc116801d818 platform manifest: sha256:e0bef2fa2d84 +mtusi-lab3-api-1 image sha256:c8d334957a8f label sha256:043a9c9b6cde +mtusi-lab3-api-2 image sha256:c8d334957a8f label sha256:043a9c9b6cde + Container mtusi-lab3-migrate-1 Recreate + Container mtusi-lab3-api-1 Recreate + Container mtusi-lab3-api-2 Recreate +mtusi-lab3-api-1 cd73e33d4838 Up 18 seconds (healthy) # после --dry-run те же +mtusi-lab3-api-2 937a5b8b84d8 Up 18 seconds (healthy) +``` - Compose пересоздал бы обе реплики. `--dry-run` ничего не менял: - реплики после него — те же `08712146e7fb`, `dbbdd88923ce`. -3. Пересборка **без** изменений кода (после шага G) даёт новый digest - тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа - содержит отметки времени сборки. `--dry-run up -d` при этом - пересоздал бы только `migrate`, а реплики оставил бы (`api-7 - Running`, `api-8 Running`). +Compose пересоздал бы обе реплики: метка контейнера +`com.docker.compose.image` (манифест платформы прежнего образа, +`043a9c9b6cde`) не совпадает с манифестом тега (`e0bef2fa2d84`). +Обратный случай — пересборка **без** изменений кода — снят настоящим +`make run_docker` поверх заменённых реплик (раздел «Жизненный цикл», +шаг 6): реплики остались `Running` с прежними ID, хотя digest индекса +тега новый (индекс содержит отметки времени сборки). -Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера -`com.docker.compose.image` (манифест платформы) с манифестом тега и -пересоздаёт реплики только при изменении содержимого образа. В -хранилище containerd у образа три разных digest: индекс (`docker image -inspect` тега), манифест платформы (метка контейнера) и конфигурация -(поле `.Image` контейнера). `docker ps` показывает у реплик digest -конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики -verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт -изменённые реплики разом (простой), без простоя — `make -rolling_update`. +Вывод: дефект не воспроизводится. В хранилище containerd у образа три +digest: индекс (`docker image inspect` тега), манифест платформы (метка +контейнера) и конфигурация (поле `.Image` контейнера). `docker ps` +показывает у реплик digest конфигурации, а не имя тега. Отсюда, +вероятно, и ошибка диагностики verify `replicas-lb`. Пункт закрыт. +`make run_docker` пересоздаёт изменённые реплики разом (простой), без +простоя — `make rolling_update`. ## C. Новая миграция, реплики прежние +Перед этим — отказ миграции из-за чужой блокировки при `make +rolling_update` (`evidence/rollout/script-failures.md`, случай 5): схема +осталась `7652184b7016`, реплики не тронуты. После конца чужой +транзакции миграция — той же командой, что у скрипта (контейнер сервиса +`migrate` на новом образе), но без замены реплик: + ```sh -docker compose run --rm --no-deps -T migrate # образ d2148ac +docker compose up --no-deps --no-build --force-recreate --abort-on-container-exit --exit-code-from migrate migrate ``` ``` "event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id" +migrate exit=0 container instance state image-config -mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 -mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 +mtusi-lab3-api-1 cd73e33d4838 running sha256:c8d334957a8f +mtusi-lab3-api-2 937a5b8b84d8 running sha256:c8d334957a8f revision: e656d6bbe1a4 +mtusi-lab3-migrate-1 14f93e9a88a3 mtusi-messenger:lab3 Exited (0) ``` На **прежнем образе и новой схеме**: - `make test` — `PASS: lab3 public API scenario`; - `make student_test` через LB — `131 passed, 15 deselected`, гонка - ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`; -- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201, + ключа через обе прежние реплики `{'cd73e33d4838': 5, '937a5b8b84d8': + 5}`; +- отправка через прежнюю реплику (`X-Instance-Id: 937a5b8b84d8`) — 201, в строке сообщения `instance_id` = NULL: прежний код колонку не знает. ## D. `make rolling_update` под нагрузкой ```sh -python3 tests/load.py --duration 45 --concurrency 4 & # через LB +python3 tests/load.py --duration 40 --concurrency 4 & # через LB make rolling_update # через 6 с после старта нагрузки ``` ``` -21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree -21:51:53 rolling-update: build done in 0s -21:51:55 rolling-update: migrate done in 2s -21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc -21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s -21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1 -21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s -21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb -21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s) -21:52:00 rolling-update: replica 1/2: slot api-1 ready -21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9 -21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s -21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2 -21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s -21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce -21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s) -21:52:06 rolling-update: replica 2/2: slot api-2 ready -21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s +22:40:42 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree +22:40:43 rolling-update: build done in 1s +22:40:45 rolling-update: migrate done in 2s +22:40:46 rolling-update: replica 1/2: started new 75d7fb69b0ee +22:40:47 rolling-update: replica 1/2: new 75d7fb69b0ee addr 172.30.0.7 slot api-3 UP in 2s +22:40:47 rolling-update: replica 1/2: drain old cd73e33d4838 addr 172.30.0.4 slot api-2 +22:40:47 rolling-update: replica 1/2: old cd73e33d4838 idle after 0s +22:40:47 rolling-update: replica 1/2: maint slot api-2, stopping old cd73e33d4838 +22:40:48 rolling-update: replica 1/2: removed old cd73e33d4838 (stop 1s, exit 0) +22:40:48 rolling-update: replica 1/2: slot api-2 ready +22:40:49 rolling-update: replica 2/2: started new 0bff4cad4dfd +22:40:51 rolling-update: replica 2/2: new 0bff4cad4dfd addr 172.30.0.4 slot api-2 UP in 3s +22:40:51 rolling-update: replica 2/2: drain old 937a5b8b84d8 addr 172.30.0.5 slot api-1 +22:40:51 rolling-update: replica 2/2: old 937a5b8b84d8 idle after 0s +22:40:51 rolling-update: replica 2/2: maint slot api-1, stopping old 937a5b8b84d8 +22:40:52 rolling-update: replica 2/2: removed old 937a5b8b84d8 (stop 1s, exit 0) +22:40:52 rolling-update: replica 2/2: slot api-1 ready +22:40:53 rolling-update: done: 2 replicas 75d7fb69b0ee 0bff4cad4dfd UP in 11s ``` Код выхода 0. Миграция в этом запуске — no-op: схема уже на `e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка -`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс, -p99 14,5 мс. +`tests/load.py`: **21 043 успешных, 0 неуспешных** за 40 с, p95 11,4 мс, +p99 16,7 мс. + +Остановка старых реплик после дренажа (журнал реплик `docker compose +logs -f api` на время замены; спек `graceful-shutdown`): + +``` +cd73e33d4838 22:40:47.968 Shutting down → 22:40:48.068 Waiting for application shutdown. → 22:40:48.079 Stopped API → 22:40:48.079 Finished server process [1] +937a5b8b84d8 22:40:51.646 Shutting down → 22:40:51.747 Waiting for application shutdown. → 22:40:51.761 Stopped API → 22:40:51.762 Finished server process [1] +``` + +Процесс завершается за 0,11 с после SIGTERM, код выхода 0 (строка +скрипта `exit 0`), а не 137: запросов в полёте нет, их уже забрали +другие реплики. Журнал LB (`docker compose logs -t haproxy`, строки слотов): ``` -21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed -21:51:58.403 Server api/api-1 enters drain state -21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active -21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance. -21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again). -21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed -21:52:03.628 Server api/api-2 enters drain state -21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active -21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance. +22:40:46.419 Server api/api-3 ('api') is DOWN/READY (resolves again). +22:40:47.256 Server api/api-3 is UP, reason: Layer7 check passed +22:40:47.682 Server api/api-2 enters drain state. … 0 sessions requeued +22:40:47.856 Server api/api-2 is going DOWN for maintenance. … 0 sessions active +22:40:48.668 Server api/api-2 is leaving forced maintenance but remains in maintenance. +22:40:49.420 Server api/api-2 ('api') is DOWN/READY (resolves again). +22:40:51.059 Server api/api-2 is UP, reason: Layer7 check passed +22:40:51.404 Server api/api-1 enters drain state. … 0 sessions requeued +22:40:51.581 Server api/api-1 is going DOWN for maintenance. … 0 sessions active +22:40:52.766 Server api/api-1 is leaving forced maintenance but remains in maintenance. ``` -Новая реплика второго шага (`6985db2f2de9`) получила адрес -`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker +Новая реплика второго шага (`0bff4cad4dfd`) получила адрес +`172.30.0.4` и слот `api-2` только что удалённой старой: IPAM Docker переиспользует адрес сразу. Поэтому слот возвращается в `ready` до -следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с -выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx` -0 у всех слотов после замены. +следующего `--scale`: в `maint` её бы не включили. Ошибок соединения +нет, выводимая реплика не получала запросов. ``` container instance state image-config -mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344 -mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344 +mtusi-lab3-api-3 75d7fb69b0ee running sha256:9cce27d595d4 +mtusi-lab3-api-4 0bff4cad4dfd running sha256:9cce27d595d4 revision: e656d6bbe1a4 -api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0 -api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0 +api-2 172.30.0.4:8080 UP L7OK scur 0 stot 21340 econ 0 hrsp_5xx 0 +api-3 172.30.0.7:8080 UP L7OK scur 0 stot 7154 econ 0 hrsp_5xx 0 free slots: 6 ``` -Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке -сообщения `instance_id` = `6e54da9d61bc`. +Отправка через новую реплику: `X-Instance-Id: 75d7fb69b0ee`, в строке +сообщения `instance_id` = `75d7fb69b0ee`. В журналах реплик за время +замены записей alembic нет (0 строк): миграции выполнял только +контейнер `migrate`. ## E. Откат на прежний образ под нагрузкой ```sh -python3 tests/load.py --duration 40 --concurrency 4 & +python3 tests/load.py --duration 35 --concurrency 4 & make rolling_update COMMIT=c50b721 MIGRATE=0 ``` ``` -21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721 -21:53:01 rolling-update: build done in 1s -21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0) +22:41:37 rolling-update: start: 2 replicas 75d7fb69b0ee 0bff4cad4dfd, image mtusi-messenger:lab3 from c50b721 +22:41:38 rolling-update: build done in 1s +22:41:38 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0) … -21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s +22:41:41 rolling-update: replica 1/2: removed old 75d7fb69b0ee (stop 1s, exit 0) +… +22:41:45 rolling-update: replica 2/2: removed old 0bff4cad4dfd (stop 1s, exit 0) +22:41:47 rolling-update: done: 2 replicas 2e6096b6a3ce 5798b8ab3793 UP in 10s ``` -Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики -снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` — -`PASS`. Откат кода не потребовал отката схемы. +Код выхода 0. Нагрузка — **16 687 успешных, 0 неуспешных**. Реплики +`api-5`, `api-6` снова на образе `c50b721` (`sha256:3ab984ebf6f4`), схема +осталась `e656d6bbe1a4`, `make test` — `PASS`. Откат кода не потребовал +отката схемы. Контейнер `migrate` остался на новом образе +(`sha256:9cce27d595d4`). + +**Ограничение отката.** Тег `mtusi-messenger:lab3` теперь указывает на +прежний образ, а его миграции не знают новой ревизии: + +``` +$ docker compose --dry-run up -d --no-build + Container mtusi-lab3-api-5 Running + Container mtusi-lab3-api-6 Running + Container mtusi-lab3-migrate-1 Recreate +$ docker compose run --rm --no-deps -T migrate # тот же образ, одноразово; стенд не меняется +FAILED: Can't locate revision identified by 'e656d6bbe1a4' +exit=255 +``` + +`docker compose up` без сборки пересоздал бы `migrate` на прежнем +образе, тот упал бы, и `restart.sh` перестал бы поднимать реплики (как +в регрессии apply, шаг G). Вперёд — снова `make rolling_update` (шаг F) +или `make run_docker` (сборка рабочего дерева, все реплики разом). ## F. Снова вперёд под нагрузкой ```sh -python3 tests/load.py --duration 40 --concurrency 4 & +python3 tests/load.py --duration 35 --concurrency 4 & make rolling_update ``` -Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция -— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**. +``` +22:42:30 rolling-update: start: 2 replicas 2e6096b6a3ce 5798b8ab3793, image mtusi-messenger:lab3 from working tree +22:42:33 rolling-update: migrate done in 2s +22:42:36 rolling-update: replica 1/2: removed old 2e6096b6a3ce (stop 0s, exit 0) +22:42:40 rolling-update: replica 2/2: removed old 5798b8ab3793 (stop 0s, exit 0) +22:42:42 rolling-update: done: 2 replicas 56aa22ea1386 03a5fe1b9c4e UP in 12s +``` + +Код выхода 0, миграция — no-op. Нагрузка — **18 480 успешных, 0 +неуспешных**. ``` -mtusi-lab3-api-7 Up About a minute (healthy) -mtusi-lab3-api-8 Up About a minute (healthy) +mtusi-lab3-api-7 Up 26 seconds (healthy) +mtusi-lab3-api-8 Up 22 seconds (healthy) mtusi-lab3-haproxy-1 Up 4 minutes (healthy) -mtusi-lab3-migrate-1 Exited (0) 4 minutes ago -mtusi-lab3-postgres-1 Up About an hour (healthy) -mtusi-lab3-valkey-1 Up About an hour (healthy) +mtusi-lab3-migrate-1 Exited (0) 26 seconds ago # образ sha256:5abf73f266fd — тот же, что у реплик +mtusi-lab3-postgres-1 Up 4 minutes (healthy) +mtusi-lab3-valkey-1 Up 4 minutes (healthy) ``` Контейнеров прежних реплик нет ни работающих, ни остановленных. `make test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через -обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах -реплик записей alembic нет: миграции выполнял только одноразовый -контейнер. +обе новые реплики `{'03a5fe1b9c4e': 5, '56aa22ea1386': 5}`. -## G. Регрессия нашла дефект: контейнер `migrate` прежнего образа (commit `de654a1`) +## G. Регрессия apply: контейнер `migrate` прежнего образа -После шагов A–F регрессия `make test-persistence -ACTION_SCRIPT=scripts/restart.sh` упала: `FAIL: restart hook failed`. -Ручной запуск hook: - -``` -mtusi-lab3-migrate-1 fa0b32e4ccc5 Exited (255) 5 seconds ago - Container mtusi-lab3-migrate-1 Error service "migrate" didn't complete successfully: exit 255 -``` - -Причина. Скрипт на `d2148ac` выполнял миграции одноразовым `docker +В apply (`d2148ac`) скрипт выполнял миграции одноразовым `docker compose run --rm migrate`. Контейнер самого сервиса `migrate` оставался -от шага A, на образе `c50b721`. `restart.sh` делает `start api`, а -compose при этом запускает зависимость `migrate`, тот же контейнер. -Миграции `c50b721` не знают ревизии `e656d6bbe1a4` → «Can't locate -revision», exit 255, реплики не стартуют. - -Исправление (`de654a1`, design, решение 1): скрипт пересоздаёт -контейнер сервиса на новом образе и выполняет миграцию в нём — `docker -compose up --no-deps --no-build --force-recreate ---abort-on-container-exit --exit-code-from migrate migrate`. Код выхода -миграции передаётся, ошибка по-прежнему останавливает замену до новых -реплик (`evidence/rollout/script-failures.md`, случай 5, повтор). - -Повтор на рабочем стенде с `de654a1` (стенд вернули `docker compose up ---no-deps --force-recreate … migrate` и `docker compose start api -haproxy`): - -``` -python3 tests/load.py --duration 35 --concurrency 4 & # через LB -make rolling_update -22:05:02 rolling-update: start: 2 replicas 4180517b395f 5985a2b69f72, image mtusi-messenger:lab3 from working tree -22:05:05 rolling-update: migrate done in 2s -22:05:13 rolling-update: done: 2 replicas a7126827af39 b167830351fc UP in 11s -load: 19 199 успешных, 0 неуспешных - -mtusi-lab3-api-12 sha256:0bf9d024b759… -mtusi-lab3-api-13 sha256:0bf9d024b759… -mtusi-lab3-migrate-1 sha256:0bf9d024b759… Exited (0) -``` - -`migrate` теперь на том же образе, что реплики. `make test-persistence -ACTION_SCRIPT=scripts/restart.sh` — `PASS`: перезапущены LB, обе -реплики, Postgres и Valkey, у всех новый `StartedAt` -(`evidence/tests/rolling-update-checks.md`). +на образе прежнего commit, `restart.sh` (`start api` запускает +зависимость `migrate`) гонял его миграции на новой схеме: «Can't locate +revision», exit 255, реплики не стартовали, `make test-persistence` +падал. С `de654a1` скрипт пересоздаёт контейнер сервиса на новом образе +(`up --force-recreate --exit-code-from migrate migrate`, design, +решение 1). Здесь после D, E и F `migrate` всегда на образе последней +замены вперёд, и `make test-persistence` проходит (раздел ниже, шаг 5). ## Какая версия записала сообщения -Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке -`instance_id`: +Сообщения за время шагов D–F и проверок после F (22:40:30–22:43:10 UTC) +по колонке `instance_id`: ``` instance_id | count | first | last -NULL | 31234 | 21:51:47 | 21:54:00 -6e54da9d61bc | 10821 | 21:51:58 | 21:53:03 -6985db2f2de9 | 10516 | 21:52:03 | 21:53:08 -f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24 -a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24 +NULL | 26762 | 22:40:36 | 22:42:39 +75d7fb69b0ee | 9320 | 22:40:47 | 22:41:40 +0bff4cad4dfd | 9363 | 22:40:51 | 22:41:44 +56aa22ea1386 | 5873 | 22:42:35 | 22:43:09 +03a5fe1b9c4e | 4904 | 22:42:39 | 22:43:09 ``` -- NULL — записи реплик образа `c50b721`: до замены D и между откатом - E и шагом F. -- Остальное — реплики образа `d2148ac`, значение равно их +- NULL — записи реплик образа `c50b721`: до замены D и между откатом E + и шагом F. +- Остальное — реплики образа `84161c0`, значение равно их `X-Instance-Id`. Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему. + +## Жизненный цикл стенда после замены + +Реплики после замен называются `api-7`, `api-8` и дальше: compose +нумерует новые контейнеры сервиса по возрастанию. Всё штатное работает +с ними так же, как с `api-1` и `api-2`. + +1. **Замена** — шаг F. +2. **`make instances`, `make lb_stats`:** + + ``` + User lb_d656bc29: one login, 12 requests with one token + 03a5fe1b9c4e: 6 + 56aa22ea1386: 6 + api-1 172.30.0.5:8080 UP L7OK + api-2 172.30.0.4:8080 UP L7OK + free slots: 6 + ``` + +3. **`make test-failover ACTION_SCRIPT=scripts/stop-one.sh`**, между + прогонами `make replicas` (`STOP_ONE_LOG` — какой контейнер + остановлен): + + | Режим | `TARGET_INSTANCE_ID` | Итог | Успешных записей / неудачных попыток | Первая запись, с | Контейнер после | + |---|---|---|---|---|---| + | `stop` | `56aa22ea1386` (api-7) | `PASS` | 117 / 0 | 1,10 | `Exited (0)` | + | `kill` | `56aa22ea1386` (api-7) | `PASS` | 111 / 1 | 0,23 | `Exited (137)` | + | `stop` | `56aa22ea1386` (api-7) | `PASS` | 113 / 0 | 1,10 | `Exited (0)` | + | `kill` | `03a5fe1b9c4e` (api-8) | `PASS` | 115 / 0 | 0,75 | `Exited (137)` | + + Тест останавливает реплику, ответившую на его первую отправку. После + `make replicas` один сдвигающий запрос дважды не сменил её; для + второй реплики очередь сдвинута нечётным числом запросов (README, + «Сценарий защиты», п. 3). `make replicas` каждый раз возвращал тот же + контейнер, `healthy`. +4. **`make replicas`** — после каждого прогона, см. выше. +5. **`make test-persistence ACTION_SCRIPT=scripts/restart.sh`** — + `PASS`. `StartedAt` до → после: `api-7` 22:44:43 → 22:45:30, `api-8` + 22:45:15 → 22:45:30, `haproxy` 22:38:38 → 22:45:30, `postgres` + 22:38:35 → 22:45:26, `valkey` 22:38:34 → 22:45:26; `migrate` (образ + реплик) снова отработал без изменений схемы. +6. **`make run_docker` поверх заменённых реплик** — код 0: + + ``` + Container mtusi-lab3-api-7 Running + Container mtusi-lab3-api-8 Running + Container mtusi-lab3-migrate-1 Started + mtusi-lab3-api-7 56aa22ea1386 Up 20 seconds (healthy) # те же ID + mtusi-lab3-api-8 03a5fe1b9c4e Up 20 seconds (healthy) + /mtusi-lab3-api-7 sha256:5abf73f266fd # образ = образ сборки, тег — новый индекс sha256:d13fb9790dd0 + ``` + + Реплик ровно `API_REPLICAS` (2), обе `UP`, образ — последней + сборки. Пересборка без изменений кода реплики не пересоздаёт. +7. **`make down` + `make run_docker`** — volume `mtusi-lab3_postgres_data` + остался, реплики созданы заново как `api-1` (`02cf5b10d956`) и `api-2` + (`5931a4f38e7a`). `make test`, запущенный сразу после `make + run_docker`, упал: LB ещё видел реплики `DOWN` — `run_docker` не ждёт + готовности (README: «Дождитесь /health/ready; затем make test»). Это + стенд, а не дефект: после `docker compose up -d --no-build --wait` + обе `UP`, `make test` — `PASS`. +8. **Две замены подряд** под одной нагрузкой `tests/load.py` (50 с): + + ``` + 22:46:32 rolling-update: start: 2 replicas 02cf5b10d956 5931a4f38e7a … + 22:46:44 rolling-update: done: 2 replicas 91f6562746fb aa618c12a108 UP in 12s + 22:46:45 rolling-update: start: 2 replicas 91f6562746fb aa618c12a108 … + 22:46:56 rolling-update: done: 2 replicas ce709a45172a 3e2b3fab9106 UP in 11s + ``` + + Нагрузка — **27 278 успешных, 0 неуспешных**. После каждой замены + `show servers state api`: занятые слоты — `srv_admin_state` 0, + свободные — 32 (только DNS), ручного состояния нет; свободных слотов + по-прежнему 6 из 8. + + ``` + после 1: api-1 172.30.0.5 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32 + после 2: api-2 172.30.0.4 admin=0, api-3 172.30.0.7 admin=0, остальные admin=32 + ``` + + Слоты не копятся: одновременно занято не больше `API_REPLICAS` + 1, + адрес удалённой реплики уходит из слота по DNS за 1–2 с, после чего + слот возвращается в `ready`. Счётчик `econ 1` у `BACKEND` в этих + снимках — от `make test` шага 7, пока реплик в LB не было. diff --git a/evidence/rollout/script-failures.md b/evidence/rollout/script-failures.md index 4ae9221e..321f966e 100644 --- a/evidence/rollout/script-failures.md +++ b/evidence/rollout/script-failures.md @@ -2,30 +2,33 @@ | | | |---|---| -| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» | -| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) | -| Дата | 2026-10-10, 21:56–22:01 UTC | -| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) | -| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) | +| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене», «Слот остался в ручном состоянии»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание при запуске новой реплики», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» | +| Change | `rolling-update`, задачи 6.2 и 7.2 (design, решения 1, 2, 5, 7, 12) | +| Дата | 2026-10-10, 22:31–22:49 UTC (переснято в verify; первая съёмка apply была на `d2148ac`) | +| Commit | `84161c0` — итоговый код change. Для сравнения «до исправления»: случай 4б — скрипт `69ebf5c`, случай 5 — ревизия с `lock_timeout` 5 с на `5e102e6` | +| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; случай 5 — тот же стенд на шаге между A и C (реплики `c50b721`, схема `7652184b7016`) | | Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось; -1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта -печатает `Error <код скрипта>` и сам выходит с кодом 2. +1 — сбой; 130 — прерван Ctrl+C. `make` при ошибке рецепта печатает +`Error <код скрипта>` и сам выходит с кодом 2; при Ctrl+C make +завершается тем же сигналом. Ручное состояние слота — `srv_admin_state` +из `show servers state api` (runtime API LB): 0 — штатно, 32 — нет +адреса (обслуживание по DNS), 1 — ручной `maint`, 8 — ручной `drain`. ## 1. Стенд не готов: остановленная реплика ```sh -TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh +TARGET_INSTANCE_ID=ce709a45172a scripts/stop-one.sh make rolling_update ``` ``` -stop-one: stopped api container f8d83d5a98e8 (mode stop) -21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first +stop-one: stopped api container ce709a45172a (mode stop) +22:47:30 rolling-update: error: stopped api replicas exist: run make replicas first make: *** [rolling_update] Error 2 -mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago -mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy) +mtusi-lab3-api-5 ce709a45172a Exited (0) Less than a second ago +mtusi-lab3-api-6 3e2b3fab9106 Up 37 seconds (healthy) ``` Отказ до сборки, контейнеры не изменились. Без этой проверки `up @@ -39,172 +42,212 @@ API_REPLICAS=3 scripts/rolling-update.sh ``` ``` -21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first +22:47:32 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first exit=2 ``` -## 3. Новая реплика не стала готовой за срок +## 3. Слот остался в ручном состоянии -`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не +Так выглядит слот, если уборка прерванной замены сама не удалась. +Свободные слоты `api-6` и `api-7` вручную переведены в `maint` и `drain`: + +```sh +set server api/api-6 state maint; set server api/api-7 state drain # runtime API LB +make rolling_update +``` + +``` +22:47:33 rolling-update: error: LB slots left in manual drain/maint by an interrupted rollout: api-6 api-7; set each ready: docker compose exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/9999 && echo "set server api/ state ready" >&3 && cat <&3' +make: *** [rolling_update] Error 2 +show servers state api: … api-6 admin=33; api-7 admin=40; … +``` + +`make lb_stats` такие слоты не показывает (в нём только слоты с +адресом), а `show stat` даёт им `MAINT (resolution)`, как и штатно +свободным. Следующая реплика в таком слоте не получила бы запросов, и +замена упала бы только через 60 с ожидания `UP`. Напечатанная команда с +именем слота вернула оба в `admin=32`. + +## 4. Новая реплика не стала готовой за срок + +`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2 с и за 1 с в LB не попадёт. ``` -21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree -21:57:01 rolling-update: build done in 1s -21:57:03 rolling-update: migrate done in 2s -21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129 -21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot) -21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready -21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish +22:47:39 rolling-update: start: 2 replicas ce709a45172a 3e2b3fab9106, image mtusi-messenger:lab3 from working tree +22:47:40 rolling-update: build done in 1s +22:47:42 rolling-update: migrate done in 2s +22:47:42 rolling-update: replica 1/2: started new 8ba15f93487d +22:47:43 rolling-update: error: replica 1/2: new replica 8ba15f93487d not UP in LB within 1s (container starting, LB no slot) +22:47:43 rolling-update: replica 1/2: removing new replica 8ba15f93487d that is not ready +22:47:43 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish make: *** [rolling_update] Error 1 ``` -После сбоя работают прежние две реплики, обе `UP`. Слоты — только с -адресами реплик или в обслуживании по DNS. Ручного состояния нет: -`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных. +После сбоя работают прежние две реплики, обе `UP`, ручного состояния +нет (`api-2`, `api-3` — `admin=0`, остальные — 32). Адрес удалённой +реплики DNS успел положить в слот `api-1` уже после проверки скрипта +(22:47:43.166), слот был `DOWN 1/2` — до `UP` нужны две проверки — и +через секунду ушёл в обслуживание по DNS: ``` -api-1 172.30.0.5:8080 UP L7OK -api-2 172.30.0.4:8080 UP L7OK -show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32 +22:47:43.166 api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'. +22:47:44.176 Server api/api-1 was DOWN and now enters maintenance (No IP for server ). ``` -Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой -версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с -PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn -(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и -получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в -`maint`, и удаление занимает ~1 с. +Неготовая реплика удаляется `docker rm -f`, а не `docker stop`: процесс +с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn +(`KNOWN_ISSUES.md`), и `docker stop` ждал бы все 10 с. Если DNS уже +отдал ей слот, он сначала уходит в `maint`. -## 4. Ctrl+C во время дренажа под нагрузкой +## 5. Ctrl+C во время дренажа под нагрузкой -`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей -группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале, -сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне -репозитория. +Настоящий Ctrl+C: `make rolling_update` запущен в псевдотерминале +(разовый `ctrlc.py` вне репозитория), после строки `drain old` в +терминал записан символ ^C — драйвер терминала сам шлёт SIGINT всей +foreground-группе (make, скрипт, docker CLI). Нагрузка — `tests/load.py`, +4 клиента, 40 с. ``` -21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s -21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1 ---- SIGINT to the process group (Ctrl+C) after «drain old» -21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8 -21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8 -21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s) -21:57:38 rolling-update: replica 1/2: slot api-1 ready -21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish ---- exit 130, 1.7s after SIGINT +22:48:25 rolling-update: replica 1/2: new 3ecf110a0a86 addr 172.30.0.5 slot api-1 UP in 2s +22:48:25 rolling-update: replica 1/2: drain old ce709a45172a addr 172.30.0.4 slot api-2 +--- ^C written to the terminal 0s after «drain old» +^C22:48:25 rolling-update: replica 1/2: new replica is UP, finishing removal of old ce709a45172a +22:48:25 rolling-update: replica 1/2: maint slot api-2, stopping old ce709a45172a +22:48:26 rolling-update: replica 1/2: removed old ce709a45172a (stop 1s, exit 0) +22:48:28 rolling-update: replica 1/2: slot api-2 ready +22:48:28 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish +make: *** [rolling_update] Error 130 +--- make завершён SIGINT через 2,8 с после ^C ``` -- Нагрузка — 19 696 успешных, **0 неуспешных**. +- Нагрузка — 22 023 успешных, **0 неуспешных**. - После прерывания работают две реплики, обе `UP`: новая - `d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`. -- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`, - свободные — `admin=32`. + `3ecf110a0a86` и ещё не заменённая `3e2b3fab9106`. Ручного состояния у + слотов нет (`admin` 0 и 32). - Повторный `make rolling_update` довёл замену: `start: 2 replicas - a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f - 5985a2b69f72 UP in 9s`, код 0. + 3e2b3fab9106 3ecf110a0a86` → `done: 2 replicas b867a1c7b778 + 052cabd305e9 UP in 12s`, код 0. -## 5. Миграция не получила блокировку +## 6. Ctrl+C внутри `up --scale` (найдено в verify) -Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция -(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит -`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция -`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой -строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`. +Тот же ^C через псевдотерминал, через 0,35–0,7 с после строки `migrate +done`, — пока compose создаёт новую реплику и её ID скрипту ещё не +известен. -Через образ миграций (`docker compose run --rm --no-deps -T -e -DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на -`d2148ac`): +**До исправления** (скрипт `69ebf5c`, без нагрузки, 22:31): ``` -21:59:07 migrate started -21:59:14 migrate exit=1 +22:31:22 rolling-update: migrate done in 2s +--- ^C written to the terminal 0.35s after «migrate done» +^C22:31:23 rolling-update: replica 1/2: removing new replica that is not ready +22:31:23 rolling-update: manual cleanup: docker rm -f ; make lb_stats shows slots in DRAIN or MAINT, set them ready +22:31:23 rolling-update: stopped: 3 api replicas running; rerun make rolling_update to finish +mtusi-lab3-api-14 7364b75042c9 Up Less than a second (health: starting) # третья реплика осталась +``` + +Уборка не знала ID новой и оставила `API_REPLICAS` + 1 реплик (третью +удалили вручную). На втором шаге было бы хуже: в переменной ещё лежал +ID новой реплики первого шага, уже рабочей, и уборка удалила бы её. + +**После исправления** (`84161c0`; design, решение 12: ID сбрасывается до +перехода в это состояние, уборка ищет контейнер, которого не было до +`up --scale`), под нагрузкой `tests/load.py`: + +``` +22:49:11 rolling-update: migrate done in 3s +--- ^C written to the terminal 0.7s after «migrate done» +22:49:11 rolling-update: replica 1/2: removing new replica fca41fa99bf7 that is not ready +22:49:13 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish +make: *** [rolling_update] Error 130 +mtusi-lab3-api-8 b867a1c7b778 Up 41 seconds (healthy) +mtusi-lab3-api-9 052cabd305e9 Up 37 seconds (healthy) +show servers state api: api-2 172.30.0.4 admin=0; api-3 172.30.0.7 admin=0; остальные admin=32 +``` + +Строки `started new` нет — прерывание пришлось внутрь `up --scale`. +Новая реплика найдена и удалена, работают две прежние, слоты чистые. +Нагрузка — 20 715 успешных, **0 неуспешных**. Повторный `make +rolling_update` — `done … UP in 14s`, код 0. + +## 7. Миграция не получила блокировку + +Схема на ревизии `7652184b7016`, реплики прежнего образа. Открытая +транзакция (`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) +держит `ACCESS SHARE` на `messages` 20 с. Через 1 с — `make +rolling_update`: миграции `e656d6bbe1a4` нужен `ACCESS EXCLUSIVE` для +`ADD COLUMN`. Одновременно через LB идут запросы (`stall_probe.py`, разовый +вне репозитория: 4 потока записи с ключом и 2 потока чтения истории +подряд, таймаут клиента 15 с). Пока миграция ждёт блокировку, все +запросы к `messages` стоят в очереди за ней. + +**До исправления: `lock_timeout` 5 с** (`5e102e6`, 22:35): + +``` +22:35:33 rolling-update: start: 2 replicas 5aee06ba7470 0203227f7702 … +22:35:35.786 Running upgrade 7652184b7016 -> e656d6bbe1a4 asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout -revision: 7652184b7016 # схема не изменилась -21:59:26 long transaction finished -Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции -revision: e656d6bbe1a4 +22:35:41 rolling-update: error: migrations failed: no replica was replaced +writes: ok 12844, failed 4 {'503': 4} +reads: ok 7532, failed 2 {'503': 2} + slow 22:35:35.780 w 5.03s 503 … всего 6 запросов 22:35:35.780–.790, все 503 через 5,02–5,03 с +журнал реплик: "Database is unavailable" … "canceling statement due to statement timeout" × 6 ``` -Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с -ожидания блокировки). Схема не изменилась. Повтор после конца -транзакции прошёл. +Все 6 запросов, вставших в очередь, получили 503: `statement_timeout` +приложения (5 с) истёк одновременно с отказом миграции. -Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики -на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит -`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с -окружением проекта стенда: +**После исправления: `lock_timeout` 2 с** (`84161c0`, 22:39): ``` -22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree -22:00:36 rolling-update: build done in 0s -LockNotAvailableError: canceling statement due to lock timeout -22:00:43 rolling-update: error: migrations failed: no replica was replaced -script exit=1 -mtusi-bench-api-1 795269251e28 Up 21 seconds -mtusi-bench-api-2 d92929c3401b Up 21 seconds -revision: 7652184b7016 -``` - -Новые реплики не запускались, прежние работают, схема прежняя. Стенд -затем удалён (`down -v`). - -Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate` -(`up --force-recreate --exit-code-from migrate`, -`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench` -на образе `c50b721`, транзакция держит `messages` 20 с: - -``` -22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree -22:04:13 rolling-update: build done in 1s -LockNotAvailableError: canceling statement due to lock timeout +22:39:05 long transaction started +22:39:07 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree +22:39:07 rolling-update: build done in 0s +migrate-1 | Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id +migrate-1 | asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout migrate-1 exited with code 1 -22:04:19 rolling-update: error: migrations failed: no replica was replaced -script exit=1 -mtusi-bench-api-1 55ef308b2802 Up 23 seconds -mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds -mtusi-bench-migrate-1 073cdd7b31ae Exited (1) -revision: 7652184b7016 +22:39:11 rolling-update: error: migrations failed: no replica was replaced +make exit=2 +revision: 7652184b7016 # схема не изменилась +mtusi-lab3-api-1 cd73e33d4838 Up 33 seconds (healthy) # реплики не тронуты +mtusi-lab3-api-2 937a5b8b84d8 Up 33 seconds (healthy) +22:39:25 long transaction finished +writes: ok 14130, failed 0, p50 8 ms, p99 21 ms, max 2023 ms +reads: ok 8285, failed 0, p50 7 ms, p99 17 ms, max 2018 ms + slow 22:39:09.337 w 2.02s 201 … всего 6 запросов 22:39:09.337–.350, все успешны за 2,01–2,02 с ``` -Повтор того же скрипта после конца транзакции: +Миграция сдалась через 2 с, схема и реплики не тронуты, ни одного +неуспешного запроса: очередь дождалась её отказа и выполнилась. После +конца транзакции миграция прошла той же командой +(`evidence/rollout/compatibility.md`, шаг C). -``` -22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, … -Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id -22:04:33 rolling-update: migrate done in 1s -… -22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s -script exit=0 -mtusi-bench-migrate-1 73e318fd50c6 Exited (0) -revision: e656d6bbe1a4 -``` - -Стенд затем удалён (`down -v`). - -Чем это лучше ожидания без срока, показывает тот же опыт с alembic с -хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение -`SELECT count(*) FROM messages`, начатое через 1 с после миграции, -ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло, -когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без -`lock_timeout` это чтение, как и любая запись реплик в `messages`, -ждало бы до конца чужой 20-секундной транзакции. - -## 6. Канал управления LB недоступен из сети +## 8. Канал управления LB недоступен из сети и с хоста ```sh -docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …' -docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999' -docker port mtusi-lab3-haproxy-1 +docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/8404 …; …/8080 …' +docker compose exec -T api bash -c '…/dev/tcp/haproxy/9999 …' +docker port mtusi-lab3-haproxy-1; nc -z 127.0.0.1 9999 ``` ``` +## другой контейнер в сети стенда haproxy:9999 refused haproxy:8404 connected -bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api -8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API +haproxy:8080 connected +## реплика api +haproxy:9999 refused +## хост +8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API +host 127.0.0.1:9999 refused +## внутри LB +Name: HAProxy +Version: 3.4.6-56332c5 +слушающие сокеты (/proc/net/tcp): 0.0.0.0:8080, 0.0.0.0:8404, 127.0.0.1:9999, 127.0.0.11: ``` -Изнутри контейнера LB (`docker compose exec haproxy`) runtime API -отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`. -Порт 9999 слушает только `127.0.0.1` контейнера LB. +Порт 9999 слушает только loopback контейнера LB; команды доходят до него +только через `docker compose exec haproxy`. Стенд `bench/` монтирует тот +же `infra/haproxy/haproxy.cfg` и не публикует портов LB +(`bench/bench.compose.yml`, `ports: !reset []`), канал там устроен так +же; профиль `rollout` пользуется им тем же скриптом. diff --git a/evidence/tests/rolling-update-checks.md b/evidence/tests/rolling-update-checks.md index fa2796e3..a2304a0b 100644 --- a/evidence/tests/rolling-update-checks.md +++ b/evidence/tests/rolling-update-checks.md @@ -3,13 +3,101 @@ | | | |---|---| | Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook», «Поочерёдная замена реплик»; `data-storage` «Данные переживают рестарт»; `db-migrations` «Совместимость миграции с работающей версией»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Образ прежнего commit»; «Профиль отказа реплик» — «Быстрый профиль»; «Профиль поочерёдной замены» — «Быстрый профиль» | -| Change | `rolling-update`, задачи 5.1, 5.2 и 6.3 | -| Дата | 2026-10-10: до коммита кода — 21:47–21:50 UTC; на итоговом коде — 22:05–22:17 UTC | -| Commit | код — `de654a1` (`d2148ac` и исправление шага миграций в скрипте). Самопроверки `bench_failover_quick` и `bench_rollout_quick` записали `dirty: true`: в рабочем дереве были только правки `REPORT.md`, `design.md` и evidence, `git diff de654a1 --stat` кода не содержит | -| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update` с `de654a1`; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) | -| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал | +| Change | `rolling-update`, задачи 5.1, 5.2, 6.3 и 7.2 | +| Дата | 2026-10-10: verify на итоговом коде — 22:38–23:00 UTC; apply — 21:47–21:50 UTC (до коммита кода) и 22:05–22:17 UTC (`de654a1`) | +| Commit | итоговый код — `84161c0` (verify: `5e102e6` — уборка и предусловия скрипта, `84161c0` — `lock_timeout` 2 с); история apply — `de654a1`. Самопроверки быстрых профилей на `84161c0` — `dirty: false`; в apply они записали `dirty: true` (в дереве были только документы) | +| Стенд | рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2, реплики после `make rolling_update`; свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд работал | -## Статические проверки (до коммита кода) +## Итоговый код `84161c0` (verify) + +Код приложения после `de654a1` поменялся одной строкой — `lock_timeout` +ревизии `e656d6bbe1a4`; остальное — `scripts/rolling-update.sh` и +документы. Поэтому на итоговом commit переснято всё, что проходит через +скрипт или миграцию. + +```text +$ make lint → All checks passed! +$ make check → PASS: offline skeleton structure, local refs and Python syntax +$ make validate PYTHON=.venv/bin/python → PASS: full OpenAPI 3.1 and JSON Schema validation # контракт не менялся +$ openspec validate rolling-update --strict → Change 'rolling-update' is valid +$ haproxy -c (haproxy:3.4.6, API_PORT=8080) → exit 0 +$ dash -n scripts/rolling-update.sh → exit 0 +``` + +Рабочий стенд через LB (подробно — `evidence/rollout/compatibility.md`, +раздел «Жизненный цикл стенда после замены»): + +```text +$ make test / make student_test (прежний образ на новой схеме) → PASS; 131 passed, 15 deselected +$ make rolling_update / откат / снова вперёд под tests/load.py → exit 0 × 3; 0 неуспешных из 21 043 / 16 687 / 18 480 +$ make test / make student_test (новые реплики api-7, api-8) → PASS; 131 passed, гонка {'03a5fe1b9c4e': 5, '56aa22ea1386': 5} +$ make instances → 03a5fe1b9c4e: 6, 56aa22ea1386: 6 +$ make test-failover … stop / kill / stop / kill (make replicas между) + {"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386 + {"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 1, "first_recovery_seconds": 0.234} # kill 56aa22ea1386 + {"observed_instances_before": 2, "successful_writes": 113, "failed_attempts": 0, "first_recovery_seconds": 1.099} # stop 56aa22ea1386 + {"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 0.751} # kill 03a5fe1b9c4e + PASS × 4 +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS; новый StartedAt у LB, обеих реплик, Postgres, Valkey +$ make run_docker (поверх api-7, api-8) → exit 0; api-7, api-8 Running, те же ID +$ make down; make run_docker; make test → api-1, api-2 заново; PASS после готовности +$ make rolling_update × 2 подряд под tests/load.py → exit 0 × 2; 0 неуспешных из 27 278; слоты admin 0 / 32, свободных 6 +``` + +Свои стенды: + +```text +$ make bench_rollout_quick (22:50, dirty: false) +rollout: 8.12 s, errors before / during / after 0 / 0 [] / 0, min success 1.0, old after drain 0, + revision 7652184b7016 -> e656d6bbe1a4; retried 0, messages 7301 = keys 7301 +[00:01:29] complete: 1/1 runs + строки скрипта: removed old 006feaed7042 (stop 1s, exit 0); removed old 1b33934b8011 (stop 0s, exit 0) + +$ make bench_failover_quick (22:51, dirty: false) +phase 01-stop-r1: LB out 1.3 s (DOWN, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.76 s, …, messages 2301 = keys 2301 +phase 02-stop-r2: LB out 1.27 s (MAINT, bound 2.5 s), errors 0 [], recovery 0 s, back in LB 1.94 s, …, messages 4602 = keys 4602 +phase 03-kill-r1: LB out 0.25 s (MAINT, bound 2.5 s), errors 4 [502:4], recovery 0 s, back in LB 0.79 s, …, retried 4, messages 6903 = keys 6903 +phase 04-kill-r2: LB out 1.05 s (MAINT, bound 2.5 s), errors 2 [502:2], recovery 0 s, back in LB 1.87 s, …, messages 9204 = keys 9204 +[00:01:58] complete: 4/4 runs +``` + +Шаги быстрого профиля замены (`replicas.csv`, секунды от начала +замены): + +| Шаг | Новая (слот) | Старая (слот) | Старт → `UP`, с | Дренаж, с | Остановка, с | Замена шага, с | Ошибок | Ответов старой после дренажа | +|---|---|---|---|---|---|---|---|---| +| 1 | `81f4d645b0af` (api-3) | `006feaed7042` (api-2) | 2,05 | 0,15 | 0,35 | 3,17 | 0 | 0 | +| 2 | `89bf0a03d122` (api-2) | `1b33934b8011` (api-1) | 1,13 | 0,15 | 0,36 | 2,38 | 0 | 0 | + +`kill` в профиле `failover` по-прежнему даёт ответы 502: запросы в +полёте на убитой реплике, LB их не повторяет; неуспешные записи +повторены с тем же ключом без дублей. Это поведение отказа, не замены. + +Приложение на итоговом коде (изменилась ревизия миграции): + +```text +$ make test_isolated (22:56) +Running upgrade -> 16c279725564 … -> 7652184b7016 -> e656d6bbe1a4 # временная база test_, с нуля +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +=========== 127 passed, 4 skipped, 15 deselected in 61.40s (0:01:01) =========== +[test_isolated] results: {'test': 0, 'student_test': 0} + +$ make failure_checks (22:58) +===================== 15 passed, 131 deselected in 44.36s ====================== +[failure_checks] results: {'fault': 0} +``` + +`make bench_quick` не переснимался: `bench/run.py` и код его профилей с +`de654a1` не менялись, а изменение ревизии проверено `test_isolated` и +быстрыми профилями выше. + +## Apply: код `de654a1` + +История: что снималось до verify. Числа ниже — на `de654a1`, итоговые — +в разделе выше. + +### Статические проверки (до коммита кода) ```text $ make lint → All checks passed! @@ -23,7 +111,7 @@ $ dash -n scripts/rolling-update.sh → exit 0 `upgrade head` → `downgrade -1` → `upgrade head`, затем `alembic check` — `No new upgrade operations detected.`, колонка `instance_id text`. -## Часть A: рабочий стенд через LB (`de654a1`) +### Часть A: рабочий стенд через LB (`de654a1`) ```text $ make rolling_update (под tests/load.py) → exit 0; load: 19 199 успешных, 0 неуспешных @@ -58,7 +146,7 @@ hook failed`. Контейнер `migrate` прежнего образа не з ревизии. Разбор и исправление — `evidence/rollout/compatibility.md`, шаг G; выше — повтор на исправленном коде. -## Часть B: свои стенды +### Часть B: свои стенды ```text $ make test_isolated (до коммита: 21:47; на de654a1: 22:07) diff --git a/openspec/changes/rolling-update/tasks.md b/openspec/changes/rolling-update/tasks.md index d1660627..b73461d6 100644 --- a/openspec/changes/rolling-update/tasks.md +++ b/openspec/changes/rolling-update/tasks.md @@ -195,7 +195,7 @@ Evidence снимается с закоммиченного кода: комми `migrations.md`, design (решения 7 и 12), `REPORT.md`. Проверка: случай «миграция не получила блокировку» под нагрузкой — 0 ошибок, коммит кода. -- [ ] 7.2 Evidence на итоговом commit кода: +- [x] 7.2 Evidence на итоговом commit кода (`84161c0`): - `compatibility.md` — шаги A–G заново, с журналом остановки старых реплик, `--dry-run` после отката и жизненным циклом стенда после замены (`make instances`, `lb_stats`, `test-failover` `stop` и