From 5403464cfbe9e0693564b3f1c40f7d88bb87500a Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 01:01:33 +0300 Subject: [PATCH] docs: add rolling-update compatibility and script failure evidence Old image passes smoke and student tests on the new schema, rolling update, rollback and roll forward under tests/load.py give zero failed requests; the run_docker known issue is not reproduced and is closed. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/docker.md | 21 +++ AGENTS.md | 2 +- KNOWN_ISSUES.md | 22 --- Makefile | 4 +- evidence/rollout/compatibility.md | 231 +++++++++++++++++++++++ evidence/rollout/script-failures.md | 176 +++++++++++++++++ openspec/changes/rolling-update/tasks.md | 10 +- 7 files changed, 437 insertions(+), 29 deletions(-) create mode 100644 evidence/rollout/compatibility.md create mode 100644 evidence/rollout/script-failures.md diff --git a/.claude/rules/docker.md b/.claude/rules/docker.md index 29120d07..d69e0354 100644 --- a/.claude/rules/docker.md +++ b/.claude/rules/docker.md @@ -202,6 +202,27 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t `REPORT.md` — таблица роль → сервис → версия/digest → healthcheck → volume → порт → способ передачи credentials. +## Обновление кода на стенде + +- `make run_docker` после пересборки пересоздаёт реплики, образ которых + изменился, — все разом, с простоем. Compose сравнивает метку + контейнера `com.docker.compose.image` (манифест платформы) с + манифестом тега. Пересборка без изменений кода реплики не трогает, + хотя digest тега новый: индекс образа содержит отметки времени + сборки (`evidence/rollout/compatibility.md`). +- Хранилище образов Docker Desktop — containerd. У образа три digest: + - индекс — `docker image inspect <тег>`; + - манифест платформы — метка контейнера и `docker image inspect + --platform`; + - конфигурация — поле `.Image` контейнера. + + `docker ps` показывает у реплик digest конфигурации, а не имя тега. + Это не признак «старого образа»: прежний пункт `KNOWN_ISSUES.md` о + том, что `run_docker` не пересоздаёт реплики, на этом и ошибся. Образы + сравниваются между контейнерами, по `.Image`. +- Без простоя новый код доходит до реплик через `make rolling_update` + (`balancer.md`): по одной, с выводом из LB и одной миграцией. + ## `scripts/restart.sh` Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh` diff --git a/AGENTS.md b/AGENTS.md index 6b23b54d..b397000d 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -266,7 +266,7 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog | `make run_dev` | `make upgrade` (Postgres из compose и миграции) и `make start_cache`, затем `APP__RUN_MODE=console uv run python -m src`: 127.0.0.1:8080, reload | | `make lint` | `ruff format` + `ruff check --fix`, дважды: так нужно из-за COM812; `tests/` и `scripts/` skeleton исключены в `[tool.ruff]` | | `make env_setup` | `.env.example` → `.env` со случайными `POSTGRES_PASSWORD` и `VALKEY_PASSWORD`, `config_example.toml` → `config.toml`; существующие файлы не перезаписывает (новые строки шаблона переносятся руками) | -| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only | +| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only. Реплики с изменённым образом пересоздаются все разом; без простоя — `make rolling_update` | | `make stop` / `make down` | остановить / удалить контейнеры compose; volume с данными остаётся | | `make logs` | журнал всех реплик API, каждая строка — JSON (`--no-log-prefix`), реплика — поле `instance_id` | | `make replicas [API_REPLICAS=N]` | вернуть остановленные реплики (те же ID) и выставить их число, ждать `healthy` (`balancer.md`) | diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index 4adbcfca..a0623b06 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -61,25 +61,3 @@ - **Предложение:** как в профиле `rollout` — поток `docker events` с фильтром контейнера или проекта, запущенный до фазы (`Stand.project_events`). - -## `make run_docker` не пересоздаёт работающие реплики после пересборки - -- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем - `$(DC) up -d`). -- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки - образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял - работающие контейнеры `api` на прежнем образе: новый код до реплик не - доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято - после `make down` и `make run_docker`, а не одного `make run_docker`. - Отдельно не воспроизводилось: наблюдение verify `replicas-lb`, - записанное в design `graceful-failover` (решение 9). -- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено - сюда verify `graceful-failover`, чтобы не потерялось в архиве. -- **Предложение:** решить в change `rolling-update`, где замена реплик - на новый образ — главный сценарий: сначала воспроизвести (пересборка - с безвредной правкой `src`, `make run_docker`, сравнить файл в - контейнере с деревом), затем либо `up -d --force-recreate api` в - `run_docker` (рестарт всех реплик разом — допустим для запуска, не для - обновления), либо направлять обновление только через - `scripts/rolling-update.sh`, а в `run_docker` печатать - предупреждение, если образ реплик не совпадает с собранным. diff --git a/Makefile b/Makefile index ae04ed5d..103e00cf 100644 --- a/Makefile +++ b/Makefile @@ -71,7 +71,9 @@ DC=docker compose # стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy # (единственный порт API на хосте — у haproxy). env_setup создаёт # недостающие .env и config.toml из шаблонов: без config.toml compose не -# запустится (bind с create_host_path: false), без паролей — тоже +# запустится (bind с create_host_path: false), без паролей — тоже. +# Реплики, чей образ изменился, пересоздаются все разом (простой); новый +# код без простоя — make rolling_update .PHONY: run_docker run_docker: env_setup DOCKER_BUILDKIT=1 $(DC) build diff --git a/evidence/rollout/compatibility.md b/evidence/rollout/compatibility.md new file mode 100644 index 00000000..5630be9b --- /dev/null +++ b/evidence/rollout/compatibility.md @@ -0,0 +1,231 @@ +# Совместимость миграции и поочерёдная замена на рабочем стенде + +| | | +|---|---| +| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» | +| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) | +| Дата | 2026-10-10, 21:50–21:55 UTC | +| Commit | `d2148ac` (код change); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) | +| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | + +Нагрузка во время замены — публичный `tests/load.py` (закрытая модель, +4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через +LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера, +ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до +12 знаков. + +## A. Реплики на образе прежнего commit, схема прежняя + +```sh +git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 - +docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721 +docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API +``` + +``` +tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29 +container instance state image-config started +mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25 +mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25 +revision: 7652184b7016 +api-1 172.30.0.5:8080 UP L7OK +api-2 172.30.0.4:8080 UP L7OK +``` + +`make test` — `PASS: lab3 public API scenario`. + +## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`) + +`KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker` +не пересоздаёт работающие `api`. Проверка, design, решение 9: + +1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный + `make test_isolated` из рабочего дерева. Реплики при этом работали на + более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не + имя тега. `docker compose up -d --no-build` после смены тега + **пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`. +2. `docker compose build api` (образ `d2148ac`), затем `docker compose + --dry-run up -d`: + + ``` + tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78 + mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde + mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde + Container mtusi-lab3-migrate-1 Recreate + Container mtusi-lab3-api-1 Recreate + Container mtusi-lab3-api-2 Recreate + ``` + + Compose пересоздал бы обе реплики. `--dry-run` ничего не менял: + реплики после него — те же `08712146e7fb`, `dbbdd88923ce`. +3. Пересборка **без** изменений кода (после шага G) даёт новый digest + тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа + содержит отметки времени сборки. `--dry-run up -d` при этом + пересоздал бы только `migrate`, а реплики оставил бы (`api-7 + Running`, `api-8 Running`). + +Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера +`com.docker.compose.image` (манифест платформы) с манифестом тега и +пересоздаёт реплики только при изменении содержимого образа. В +хранилище containerd у образа три разных digest: индекс (`docker image +inspect` тега), манифест платформы (метка контейнера) и конфигурация +(поле `.Image` контейнера). `docker ps` показывает у реплик digest +конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики +verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт +изменённые реплики разом (простой), без простоя — `make +rolling_update`. + +## C. Новая миграция, реплики прежние + +```sh +docker compose run --rm --no-deps -T migrate # образ d2148ac +``` + +``` +"event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id" +container instance state image-config +mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 +mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 +revision: e656d6bbe1a4 +``` + +На **прежнем образе и новой схеме**: + +- `make test` — `PASS: lab3 public API scenario`; +- `make student_test` через LB — `131 passed, 15 deselected`, гонка + ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`; +- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201, + в строке сообщения `instance_id` = NULL: прежний код колонку не знает. + +## D. `make rolling_update` под нагрузкой + +```sh +python3 tests/load.py --duration 45 --concurrency 4 & # через LB +make rolling_update # через 6 с после старта нагрузки +``` + +``` +21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree +21:51:53 rolling-update: build done in 0s +21:51:55 rolling-update: migrate done in 2s +21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc +21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s +21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1 +21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s +21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb +21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s) +21:52:00 rolling-update: replica 1/2: slot api-1 ready +21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9 +21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s +21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2 +21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s +21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce +21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s) +21:52:06 rolling-update: replica 2/2: slot api-2 ready +21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s +``` + +Код выхода 0. Миграция в этом запуске — no-op: схема уже на +`e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка +`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс, +p99 14,5 мс. + +Журнал LB (`docker compose logs -t haproxy`, строки слотов): + +``` +21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed +21:51:58.403 Server api/api-1 enters drain state +21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active +21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance. +21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again). +21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed +21:52:03.628 Server api/api-2 enters drain state +21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active +21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance. +``` + +Новая реплика второго шага (`6985db2f2de9`) получила адрес +`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker +переиспользует адрес сразу. Поэтому слот возвращается в `ready` до +следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с +выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx` +0 у всех слотов после замены. + +``` +container instance state image-config +mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344 +mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344 +revision: e656d6bbe1a4 +api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0 +api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0 +free slots: 6 +``` + +Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке +сообщения `instance_id` = `6e54da9d61bc`. + +## E. Откат на прежний образ под нагрузкой + +```sh +python3 tests/load.py --duration 40 --concurrency 4 & +make rolling_update COMMIT=c50b721 MIGRATE=0 +``` + +``` +21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721 +21:53:01 rolling-update: build done in 1s +21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0) +… +21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s +``` + +Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики +снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` — +`PASS`. Откат кода не потребовал отката схемы. + +## F. Снова вперёд под нагрузкой + +```sh +python3 tests/load.py --duration 40 --concurrency 4 & +make rolling_update +``` + +Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция +— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**. + +``` +mtusi-lab3-api-7 Up About a minute (healthy) +mtusi-lab3-api-8 Up About a minute (healthy) +mtusi-lab3-haproxy-1 Up 4 minutes (healthy) +mtusi-lab3-migrate-1 Exited (0) 4 minutes ago +mtusi-lab3-postgres-1 Up About an hour (healthy) +mtusi-lab3-valkey-1 Up About an hour (healthy) +``` + +Контейнеров прежних реплик нет ни работающих, ни остановленных. `make +test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через +обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах +реплик записей alembic нет: миграции выполнял только одноразовый +контейнер. + +## Какая версия записала сообщения + +Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке +`instance_id`: + +``` +instance_id | count | first | last +NULL | 31234 | 21:51:47 | 21:54:00 +6e54da9d61bc | 10821 | 21:51:58 | 21:53:03 +6985db2f2de9 | 10516 | 21:52:03 | 21:53:08 +f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24 +a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24 +``` + +- NULL — записи реплик образа `c50b721`: до замены D и между откатом + E и шагом F. +- Остальное — реплики образа `d2148ac`, значение равно их + `X-Instance-Id`. + +Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему. diff --git a/evidence/rollout/script-failures.md b/evidence/rollout/script-failures.md new file mode 100644 index 00000000..10656b2f --- /dev/null +++ b/evidence/rollout/script-failures.md @@ -0,0 +1,176 @@ +# Отказы и сбои `scripts/rolling-update.sh` + +| | | +|---|---| +| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» | +| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) | +| Дата | 2026-10-10, 21:56–22:01 UTC | +| Commit | `d2148ac` | +| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | + +Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось; +1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта +печатает `Error <код скрипта>` и сам выходит с кодом 2. + +## 1. Стенд не готов: остановленная реплика + +```sh +TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh +make rolling_update +``` + +``` +stop-one: stopped api container f8d83d5a98e8 (mode stop) +21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first +make: *** [rolling_update] Error 2 +mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago +mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy) +``` + +Отказ до сборки, контейнеры не изменились. Без этой проверки `up +--scale api=3 --no-recreate` запустил бы остановленную старую реплику +вместо новой. Затем `make replicas` вернул ту же реплику. + +## 2. Стенд не готов: число реплик не совпадает + +```sh +API_REPLICAS=3 scripts/rolling-update.sh +``` + +``` +21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first +exit=2 +``` + +## 3. Новая реплика не стала готовой за срок + +`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не +попадёт. + +``` +21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree +21:57:01 rolling-update: build done in 1s +21:57:03 rolling-update: migrate done in 2s +21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129 +21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot) +21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready +21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish +make: *** [rolling_update] Error 1 +``` + +После сбоя работают прежние две реплики, обе `UP`. Слоты — только с +адресами реплик или в обслуживании по DNS. Ручного состояния нет: +`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных. + +``` +api-1 172.30.0.5:8080 UP L7OK +api-2 172.30.0.4:8080 UP L7OK +show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32 +``` + +Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой +версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с +PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn +(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и +получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в +`maint`, и удаление занимает ~1 с. + +## 4. Ctrl+C во время дренажа под нагрузкой + +`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей +группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале, +сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне +репозитория. + +``` +21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s +21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1 +--- SIGINT to the process group (Ctrl+C) after «drain old» +21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8 +21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8 +21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s) +21:57:38 rolling-update: replica 1/2: slot api-1 ready +21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish +--- exit 130, 1.7s after SIGINT +``` + +- Нагрузка — 19 696 успешных, **0 неуспешных**. +- После прерывания работают две реплики, обе `UP`: новая + `d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`. +- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`, + свободные — `admin=32`. +- Повторный `make rolling_update` довёл замену: `start: 2 replicas + a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f + 5985a2b69f72 UP in 9s`, код 0. + +## 5. Миграция не получила блокировку + +Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция +(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит +`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция +`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой +строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`. + +Через сервис миграций, как в скрипте (`docker compose run --rm +--no-deps -T -e DATABASE__NAME=ru_lock migrate`): + +``` +21:59:07 migrate started +21:59:14 migrate exit=1 +asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout +revision: 7652184b7016 # схема не изменилась +21:59:26 long transaction finished +Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции +revision: e656d6bbe1a4 +``` + +Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с +ожидания блокировки). Схема не изменилась. Повтор после конца +транзакции прошёл. + +Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики +на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит +`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с +окружением проекта стенда: + +``` +22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree +22:00:36 rolling-update: build done in 0s +LockNotAvailableError: canceling statement due to lock timeout +22:00:43 rolling-update: error: migrations failed: no replica was replaced +script exit=1 +mtusi-bench-api-1 795269251e28 Up 21 seconds +mtusi-bench-api-2 d92929c3401b Up 21 seconds +revision: 7652184b7016 +``` + +Новые реплики не запускались, прежние работают, схема прежняя. Стенд +затем удалён (`down -v`). + +Чем это лучше ожидания без срока, показывает тот же опыт с alembic с +хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение +`SELECT count(*) FROM messages`, начатое через 1 с после миграции, +ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло, +когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без +`lock_timeout` это чтение, как и любая запись реплик в `messages`, +ждало бы до конца чужой 20-секундной транзакции. + +## 6. Канал управления LB недоступен из сети + +```sh +docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …' +docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999' +docker port mtusi-lab3-haproxy-1 +``` + +``` +haproxy:9999 refused +haproxy:8404 connected +bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api +8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API +``` + +Изнутри контейнера LB (`docker compose exec haproxy`) runtime API +отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`. +Порт 9999 слушает только `127.0.0.1` контейнера LB. diff --git a/openspec/changes/rolling-update/tasks.md b/openspec/changes/rolling-update/tasks.md index 6917e111..22f9cf18 100644 --- a/openspec/changes/rolling-update/tasks.md +++ b/openspec/changes/rolling-update/tasks.md @@ -29,7 +29,7 @@ Evidence снимается с закоммиченного кода: комми Проверка: `uv run alembic upgrade head` и `downgrade -1` / `upgrade head` на временной базе (не рабочей); `alembic check` после `upgrade` — без расхождений. -- [ ] 1.2 `insert_message(..., instance_id)` в repo и передача +- [x] 1.2 `insert_message(..., instance_id)` в repo и передача `settings.app.instance_id` из `MessageService.send_message`; DTO и ответ API не меняются. Проверка: `make lint`; после задачи 5.2 строка сообщения, записанного через API, содержит `instance_id` = @@ -41,7 +41,7 @@ Evidence снимается с закоммиченного кода: комми ipv4@127.0.0.1:9999 level admin` в `global` с комментарием (решение 2). Проверка: `haproxy -c` в закреплённом образе с `API_PORT=8080` — `Configuration file is valid`. -- [ ] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит +- [x] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит в git). Внутри: - предусловия; - сборка из рабочего дерева или `ROLLOUT_COMMIT`; @@ -81,7 +81,7 @@ Evidence снимается с закоммиченного кода: комми ## 4. Документы -- [ ] 4.1 Правила под решения: +- [x] 4.1 Правила под решения: - `balancer.md` — порядок «сборка → миграции», дренаж, состояния слота, сбой, runtime API; - `migrations.md` — новая ревизия, `lock_timeout`, откат кода без @@ -117,7 +117,7 @@ Evidence снимается с закоммиченного кода: комми ## 6. Evidence с commit кода -- [ ] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6, +- [x] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6, 7, 9; `evidence/rollout/compatibility.md`): - реплики на образе `c50b721` (`git archive`), LB пересоздан с новым `haproxy.cfg`, ревизия `7652184b7016`, `make test`; @@ -135,7 +135,7 @@ Evidence снимается с закоммиченного кода: комми Исход решения 9 — в `KNOWN_ISSUES.md` (и `Makefile`, если дефект подтвердился). Проверка: в файле на каждом шаге команда, код выхода и наблюдение. -- [ ] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`): +- [x] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`): - остановленная реплика (`stop-one.sh`) и `API_REPLICAS=3` — отказ до сборки; - `ROLLOUT_READY_TIMEOUT=1` — новая удалена, N реплик `UP`;