docs: add rolling-update compatibility and script failure evidence

Old image passes smoke and student tests on the new schema, rolling
update, rollback and roll forward under tests/load.py give zero failed
requests; the run_docker known issue is not reproduced and is closed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 01:01:33 +03:00
co-authored by Claude Opus 5.5
parent d2148ac566
commit 5403464cfb
7 changed files with 437 additions and 29 deletions
+21
View File
@@ -202,6 +202,27 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
`REPORT.md` — таблица роль → сервис → версия/digest → healthcheck →
volume → порт → способ передачи credentials.
## Обновление кода на стенде
- `make run_docker` после пересборки пересоздаёт реплики, образ которых
изменился, — все разом, с простоем. Compose сравнивает метку
контейнера `com.docker.compose.image` (манифест платформы) с
манифестом тега. Пересборка без изменений кода реплики не трогает,
хотя digest тега новый: индекс образа содержит отметки времени
сборки (`evidence/rollout/compatibility.md`).
- Хранилище образов Docker Desktop — containerd. У образа три digest:
- индекс — `docker image inspect <тег>`;
- манифест платформы — метка контейнера и `docker image inspect
--platform`;
- конфигурация — поле `.Image` контейнера.
`docker ps` показывает у реплик digest конфигурации, а не имя тега.
Это не признак «старого образа»: прежний пункт `KNOWN_ISSUES.md` о
том, что `run_docker` не пересоздаёт реплики, на этом и ошибся. Образы
сравниваются между контейнерами, по `.Image`.
- Без простоя новый код доходит до реплик через `make rolling_update`
(`balancer.md`): по одной, с выводом из LB и одной миграцией.
## `scripts/restart.sh`
Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
+1 -1
View File
@@ -266,7 +266,7 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
| `make run_dev` | `make upgrade` (Postgres из compose и миграции) и `make start_cache`, затем `APP__RUN_MODE=console uv run python -m src`: 127.0.0.1:8080, reload |
| `make lint` | `ruff format` + `ruff check --fix`, дважды: так нужно из-за COM812; `tests/` и `scripts/` skeleton исключены в `[tool.ruff]` |
| `make env_setup` | `.env.example` → `.env` со случайными `POSTGRES_PASSWORD` и `VALKEY_PASSWORD`, `config_example.toml` → `config.toml`; существующие файлы не перезаписывает (новые строки шаблона переносятся руками) |
| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only |
| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only. Реплики с изменённым образом пересоздаются все разом; без простоя — `make rolling_update` |
| `make stop` / `make down` | остановить / удалить контейнеры compose; volume с данными остаётся |
| `make logs` | журнал всех реплик API, каждая строка — JSON (`--no-log-prefix`), реплика — поле `instance_id` |
| `make replicas [API_REPLICAS=N]` | вернуть остановленные реплики (те же ID) и выставить их число, ждать `healthy` (`balancer.md`) |
-22
View File
@@ -61,25 +61,3 @@
- **Предложение:** как в профиле `rollout` — поток `docker events` с
фильтром контейнера или проекта, запущенный до фазы
(`Stand.project_events`).
## `make run_docker` не пересоздаёт работающие реплики после пересборки
- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем
`$(DC) up -d`).
- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки
образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял
работающие контейнеры `api` на прежнем образе: новый код до реплик не
доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято
после `make down` и `make run_docker`, а не одного `make run_docker`.
Отдельно не воспроизводилось: наблюдение verify `replicas-lb`,
записанное в design `graceful-failover` (решение 9).
- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено
сюда verify `graceful-failover`, чтобы не потерялось в архиве.
- **Предложение:** решить в change `rolling-update`, где замена реплик
на новый образ — главный сценарий: сначала воспроизвести (пересборка
с безвредной правкой `src`, `make run_docker`, сравнить файл в
контейнере с деревом), затем либо `up -d --force-recreate api` в
`run_docker` (рестарт всех реплик разом — допустим для запуска, не для
обновления), либо направлять обновление только через
`scripts/rolling-update.sh`, а в `run_docker` печатать
предупреждение, если образ реплик не совпадает с собранным.
+3 -1
View File
@@ -71,7 +71,9 @@ DC=docker compose
# стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy
# (единственный порт API на хосте — у haproxy). env_setup создаёт
# недостающие .env и config.toml из шаблонов: без config.toml compose не
# запустится (bind с create_host_path: false), без паролей — тоже
# запустится (bind с create_host_path: false), без паролей — тоже.
# Реплики, чей образ изменился, пересоздаются все разом (простой); новый
# код без простоя — make rolling_update
.PHONY: run_docker
run_docker: env_setup
DOCKER_BUILDKIT=1 $(DC) build
+231
View File
@@ -0,0 +1,231 @@
# Совместимость миграции и поочерёдная замена на рабочем стенде
| | |
|---|---|
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» |
| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) |
| Дата | 2026-10-10, 21:50–21:55 UTC |
| Commit | `d2148ac` (код change); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Нагрузка во время замены — публичный `tests/load.py` (закрытая модель,
4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через
LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера,
ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до
12 знаков.
## A. Реплики на образе прежнего commit, схема прежняя
```sh
git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 -
docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721
docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API
```
```
tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29
container instance state image-config started
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25
revision: 7652184b7016
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
```
`make test` — `PASS: lab3 public API scenario`.
## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`)
`KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker`
не пересоздаёт работающие `api`. Проверка, design, решение 9:
1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный
`make test_isolated` из рабочего дерева. Реплики при этом работали на
более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не
имя тега. `docker compose up -d --no-build` после смены тега
**пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`.
2. `docker compose build api` (образ `d2148ac`), затем `docker compose
--dry-run up -d`:
```
tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78
mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
Container mtusi-lab3-migrate-1 Recreate
Container mtusi-lab3-api-1 Recreate
Container mtusi-lab3-api-2 Recreate
```
Compose пересоздал бы обе реплики. `--dry-run` ничего не менял:
реплики после него — те же `08712146e7fb`, `dbbdd88923ce`.
3. Пересборка **без** изменений кода (после шага G) даёт новый digest
тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа
содержит отметки времени сборки. `--dry-run up -d` при этом
пересоздал бы только `migrate`, а реплики оставил бы (`api-7
Running`, `api-8 Running`).
Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера
`com.docker.compose.image` (манифест платформы) с манифестом тега и
пересоздаёт реплики только при изменении содержимого образа. В
хранилище containerd у образа три разных digest: индекс (`docker image
inspect` тега), манифест платформы (метка контейнера) и конфигурация
(поле `.Image` контейнера). `docker ps` показывает у реплик digest
конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики
verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт
изменённые реплики разом (простой), без простоя — `make
rolling_update`.
## C. Новая миграция, реплики прежние
```sh
docker compose run --rm --no-deps -T migrate # образ d2148ac
```
```
"event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
container instance state image-config
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29
revision: e656d6bbe1a4
```
На **прежнем образе и новой схеме**:
- `make test` — `PASS: lab3 public API scenario`;
- `make student_test` через LB — `131 passed, 15 deselected`, гонка
ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`;
- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201,
в строке сообщения `instance_id` = NULL: прежний код колонку не знает.
## D. `make rolling_update` под нагрузкой
```sh
python3 tests/load.py --duration 45 --concurrency 4 & # через LB
make rolling_update # через 6 с после старта нагрузки
```
```
21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree
21:51:53 rolling-update: build done in 0s
21:51:55 rolling-update: migrate done in 2s
21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc
21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s
21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1
21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s
21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb
21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s)
21:52:00 rolling-update: replica 1/2: slot api-1 ready
21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9
21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s
21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2
21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s
21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce
21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s)
21:52:06 rolling-update: replica 2/2: slot api-2 ready
21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s
```
Код выхода 0. Миграция в этом запуске — no-op: схема уже на
`e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка
`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс,
p99 14,5 мс.
Журнал LB (`docker compose logs -t haproxy`, строки слотов):
```
21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed
21:51:58.403 Server api/api-1 enters drain state
21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance.
21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again).
21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed
21:52:03.628 Server api/api-2 enters drain state
21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance.
```
Новая реплика второго шага (`6985db2f2de9`) получила адрес
`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker
переиспользует адрес сразу. Поэтому слот возвращается в `ready` до
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с
выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx`
0 у всех слотов после замены.
```
container instance state image-config
mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344
mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344
revision: e656d6bbe1a4
api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0
free slots: 6
```
Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке
сообщения `instance_id` = `6e54da9d61bc`.
## E. Откат на прежний образ под нагрузкой
```sh
python3 tests/load.py --duration 40 --concurrency 4 &
make rolling_update COMMIT=c50b721 MIGRATE=0
```
```
21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721
21:53:01 rolling-update: build done in 1s
21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
…
21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s
```
Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики
снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` —
`PASS`. Откат кода не потребовал отката схемы.
## F. Снова вперёд под нагрузкой
```sh
python3 tests/load.py --duration 40 --concurrency 4 &
make rolling_update
```
Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция
— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**.
```
mtusi-lab3-api-7 Up About a minute (healthy)
mtusi-lab3-api-8 Up About a minute (healthy)
mtusi-lab3-haproxy-1 Up 4 minutes (healthy)
mtusi-lab3-migrate-1 Exited (0) 4 minutes ago
mtusi-lab3-postgres-1 Up About an hour (healthy)
mtusi-lab3-valkey-1 Up About an hour (healthy)
```
Контейнеров прежних реплик нет ни работающих, ни остановленных. `make
test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через
обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах
реплик записей alembic нет: миграции выполнял только одноразовый
контейнер.
## Какая версия записала сообщения
Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке
`instance_id`:
```
instance_id | count | first | last
NULL | 31234 | 21:51:47 | 21:54:00
6e54da9d61bc | 10821 | 21:51:58 | 21:53:03
6985db2f2de9 | 10516 | 21:52:03 | 21:53:08
f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24
a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24
```
- NULL — записи реплик образа `c50b721`: до замены D и между откатом
E и шагом F.
- Остальное — реплики образа `d2148ac`, значение равно их
`X-Instance-Id`.
Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему.
+176
View File
@@ -0,0 +1,176 @@
# Отказы и сбои `scripts/rolling-update.sh`
| | |
|---|---|
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
| Дата | 2026-10-10, 21:56–22:01 UTC |
| Commit | `d2148ac` |
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
печатает `Error <код скрипта>` и сам выходит с кодом 2.
## 1. Стенд не готов: остановленная реплика
```sh
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
make rolling_update
```
```
stop-one: stopped api container f8d83d5a98e8 (mode stop)
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
```
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
--scale api=3 --no-recreate` запустил бы остановленную старую реплику
вместо новой. Затем `make replicas` вернул ту же реплику.
## 2. Стенд не готов: число реплик не совпадает
```sh
API_REPLICAS=3 scripts/rolling-update.sh
```
```
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2
```
## 3. Новая реплика не стала готовой за срок
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
попадёт.
```
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
21:57:01 rolling-update: build done in 1s
21:57:03 rolling-update: migrate done in 2s
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1
```
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
```
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
```
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
`maint`, и удаление занимает ~1 с.
## 4. Ctrl+C во время дренажа под нагрузкой
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
репозитория.
```
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
--- SIGINT to the process group (Ctrl+C) after «drain old»
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
21:57:38 rolling-update: replica 1/2: slot api-1 ready
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
--- exit 130, 1.7s after SIGINT
```
- Нагрузка — 19 696 успешных, **0 неуспешных**.
- После прерывания работают две реплики, обе `UP`: новая
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
свободные — `admin=32`.
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
5985a2b69f72 UP in 9s`, код 0.
## 5. Миграция не получила блокировку
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
Через сервис миграций, как в скрипте (`docker compose run --rm
--no-deps -T -e DATABASE__NAME=ru_lock migrate`):
```
21:59:07 migrate started
21:59:14 migrate exit=1
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
revision: 7652184b7016 # схема не изменилась
21:59:26 long transaction finished
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
revision: e656d6bbe1a4
```
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
ожидания блокировки). Схема не изменилась. Повтор после конца
транзакции прошёл.
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
окружением проекта стенда:
```
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
22:00:36 rolling-update: build done in 0s
LockNotAvailableError: canceling statement due to lock timeout
22:00:43 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 795269251e28 Up 21 seconds
mtusi-bench-api-2 d92929c3401b Up 21 seconds
revision: 7652184b7016
```
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
затем удалён (`down -v`).
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
ждало бы до конца чужой 20-секундной транзакции.
## 6. Канал управления LB недоступен из сети
```sh
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
docker port mtusi-lab3-haproxy-1
```
```
haproxy:9999 refused
haproxy:8404 connected
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
```
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
Порт 9999 слушает только `127.0.0.1` контейнера LB.
+5 -5
View File
@@ -29,7 +29,7 @@ Evidence снимается с закоммиченного кода: комми
Проверка: `uv run alembic upgrade head` и `downgrade -1` / `upgrade
head` на временной базе (не рабочей); `alembic check` после `upgrade`
— без расхождений.
- [ ] 1.2 `insert_message(..., instance_id)` в repo и передача
- [x] 1.2 `insert_message(..., instance_id)` в repo и передача
`settings.app.instance_id` из `MessageService.send_message`; DTO и
ответ API не меняются. Проверка: `make lint`; после задачи 5.2 строка
сообщения, записанного через API, содержит `instance_id` =
@@ -41,7 +41,7 @@ Evidence снимается с закоммиченного кода: комми
ipv4@127.0.0.1:9999 level admin` в `global` с комментарием (решение
2). Проверка: `haproxy -c` в закреплённом образе с `API_PORT=8080` —
`Configuration file is valid`.
- [ ] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит
- [x] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит
в git). Внутри:
- предусловия;
- сборка из рабочего дерева или `ROLLOUT_COMMIT`;
@@ -81,7 +81,7 @@ Evidence снимается с закоммиченного кода: комми
## 4. Документы
- [ ] 4.1 Правила под решения:
- [x] 4.1 Правила под решения:
- `balancer.md` — порядок «сборка → миграции», дренаж, состояния
слота, сбой, runtime API;
- `migrations.md` — новая ревизия, `lock_timeout`, откат кода без
@@ -117,7 +117,7 @@ Evidence снимается с закоммиченного кода: комми
## 6. Evidence с commit кода
- [ ] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6,
- [x] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6,
7, 9; `evidence/rollout/compatibility.md`):
- реплики на образе `c50b721` (`git archive`), LB пересоздан с новым
`haproxy.cfg`, ревизия `7652184b7016`, `make test`;
@@ -135,7 +135,7 @@ Evidence снимается с закоммиченного кода: комми
Исход решения 9 — в `KNOWN_ISSUES.md` (и `Makefile`, если дефект
подтвердился). Проверка: в файле на каждом шаге команда, код выхода и
наблюдение.
- [ ] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`):
- [x] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`):
- остановленная реплика (`stop-one.sh`) и `API_REPLICAS=3` —
отказ до сборки;
- `ROLLOUT_READY_TIMEOUT=1` — новая удалена, N реплик `UP`;