fix: keep the same storage containers in the restart hook
- scripts/restart.sh waits for postgres, valkey and s3 with up --wait --no-recreate: Compose 5.4 recreated containers whose image was pulled by the first up (index digest in the label, platform manifest digest on the check), s3-bootstrap could not join the new s3 network namespace (exit 128) and make test-persistence failed on a clean host; found by the CI job on the Gitea runner - record the runner failure, the repro across Compose 5.4.0 and 5.6.1 and the fixed and control runs on a fresh Docker daemon in evidence/tests/ci-application.md, REPORT.md and the docker rule Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -379,8 +379,14 @@ Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
|
||||
тестовых данных. Кэш Valkey после рестарта пуст сам: persistence у
|
||||
него выключен. Bucket, учётные записи и объекты S3 — в его volume.
|
||||
- Порядок: `stop haproxy api` → `restart postgres valkey s3` → `up -d
|
||||
--wait postgres valkey s3` (те же контейнеры, ожидание healthcheck) →
|
||||
`start api haproxy`. `start api` запускает и зависимости `migrate` и
|
||||
--wait --no-recreate postgres valkey s3` (те же контейнеры, ожидание
|
||||
healthcheck) → `start api haproxy`. `--no-recreate` обязателен:
|
||||
Compose 5.4 пересоздаёт контейнер, если его образ скачивался при первом
|
||||
`up` (метка — digest индекса, сверка — digest манифеста платформы), и
|
||||
`s3-bootstrap` (`network_mode: service:s3`) после пересоздания `s3` не
|
||||
стартует — код 128, `start api` падает. Нашёл CI на раннере Gitea
|
||||
(`evidence/tests/ci-application.md`); локально образы были в кэше, и
|
||||
Compose 5.6 так не делает. `start api` запускает и зависимости `migrate` и
|
||||
`s3-bootstrap`: повторные миграции и bootstrap — no-op («exists»).
|
||||
Число реплик не меняется: `start` поднимает те же контейнеры, а не
|
||||
масштабирует (реплику, остановленную `stop-one.sh`, тоже). Уборщика
|
||||
|
||||
@@ -525,7 +525,7 @@ infra/ # конфигурации сервисов сте
|
||||
valkey/valkey.conf # лимит памяти и LRU, persistence выключен
|
||||
s3/bootstrap.sh # bootstrap S3 (сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects (у уборщика — ещё список только с префиксом S3_CLEANER_LIST_PREFIX = <база>/attachments/), пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs
|
||||
haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене)
|
||||
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
|
||||
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); ожидание хранилищ — up --wait --no-recreate (Compose 5.4 иначе пересоздаёт контейнеры, чьи образы скачивались при первом up, и s3-bootstrap не стартует); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
|
||||
scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG
|
||||
scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/
|
||||
Dockerfile # builder (uv sync --locked) → runtime: .venv + src + миграции, UID 10001, healthcheck, MALLOC_MMAP_THRESHOLD_ (буфер загрузки растёт без копии)
|
||||
|
||||
@@ -8,8 +8,9 @@
|
||||
Сафронов — на 5» (ссылка — после публикации). Из чистого clone
|
||||
проверен commit `de98d77` (2026-10-29, итоговый код всех changes
|
||||
лабы 4): `evidence/tests/clean-clone-final.md`. После него менялись
|
||||
только документы и добавлен CI job (`.github/workflows/application.yml`,
|
||||
раздел «CI»); код приложения и стенда прежний.
|
||||
только документы, добавлен CI job (`.github/workflows/application.yml`)
|
||||
и исправлен restart hook: `--no-recreate` в `scripts/restart.sh`
|
||||
(раздел «CI»). Код приложения прежний.
|
||||
- Использованные источники, библиотеки и помощь ИИ: раздел «Источники,
|
||||
библиотеки и использование ИИ» в конце отчёта.
|
||||
|
||||
@@ -173,6 +174,20 @@ Gitea при каждом push в fork. Actions включены в настро
|
||||
`actions/checkout` с `Could not resolve host: gitea` и до проверок не
|
||||
доходит. Его `make check` и `make validate` выполняет job `application`.
|
||||
|
||||
Job на раннере нашёл дефект restart hook. Там Compose 5.4, образы стенда
|
||||
скачивались при первом `up`. Строка `scripts/restart.sh` `up -d --wait
|
||||
postgres valkey s3` должна была лишь дождаться тех же контейнеров, а
|
||||
пересоздала все три: метка контейнера хранит digest индекса образа,
|
||||
повторный `up` сравнивает её с digest манифеста платформы. `s3-bootstrap`
|
||||
(`network_mode: service:s3`) после пересоздания `s3` не стартует (код
|
||||
128), за ним падает `start api haproxy`, и `make test-persistence`
|
||||
отвечает «restart hook failed». Данные целы: пересоздан только контейнер,
|
||||
volume тот же. Проверка из чистого clone этого не поймала: образы были в
|
||||
кэше, а Compose 5.6 так не делает. Исправлено `--no-recreate`.
|
||||
Воспроизведение (Compose 5.4.0 и 5.6.1, с флагом и без) и прогон после
|
||||
правки на отдельном демоне Docker с пустым кэшем — в
|
||||
`evidence/tests/ci-application.md`.
|
||||
|
||||
Раннер (`act_runner`, образ `gitea/runner-images:ubuntu-latest`)
|
||||
запускает job в контейнере на том же Docker, что и стенд. Поэтому
|
||||
отличия от локального запуска собраны в override `.github/ci/compose.yml`:
|
||||
@@ -2220,7 +2235,13 @@ verify → правки по verify → archive. Каждый этап выпо
|
||||
- две попытки метки сверки упали на собственной проверке полноты
|
||||
строк k6;
|
||||
- срок чтения aiohttp давал редкие 503 на исправном S3
|
||||
(`fix-upload-put-flake`).
|
||||
(`fix-upload-put-flake`);
|
||||
- restart hook (`scripts/restart.sh`) полагался на то, что `up --wait`
|
||||
не пересоздаёт работающие контейнеры. Compose 5.4 пересоздаёт их,
|
||||
если образ скачивался при первом `up`, и `make test-persistence`
|
||||
на чистой машине падал. Проверка из чистого clone этого не поймала:
|
||||
образы были в кэше. Нашёл CI job на раннере Gitea, исправлено
|
||||
`--no-recreate` (`evidence/tests/ci-application.md`).
|
||||
|
||||
Утверждения отчёта о поведении стенда подтверждены командами, их выводы
|
||||
лежат в `evidence/`. Решения, перечисленные выше, принимал автор.
|
||||
|
||||
@@ -209,3 +209,98 @@ PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
|
||||
Шаги `Stand logs` (`if: failure()`) и `Remove the stand` (`if:
|
||||
always()`) в упавшем прогоне отработали, остальные пропущены.
|
||||
|
||||
## Второй прогон на раннере: дефект restart hook
|
||||
|
||||
Push `12d8693`, `run 321` (2026-10-29). Раннер:
|
||||
|
||||
```text
|
||||
docker 29.2.1, linux/x86_64, 8 CPU, 33610702848 B
|
||||
Docker Compose version 5.4.0-2
|
||||
Python 3.12.3
|
||||
```
|
||||
|
||||
| Шаг | Итог |
|
||||
|---|---|
|
||||
| Checkout | `12d8693 ci: check out by the public Gitea address and run make validate` |
|
||||
| Build and start the stand | 3 мин 17 с (без кэша, образы скачаны при `up`); `LB ready: 1bb8564aeb34 c120ac57eefd` |
|
||||
| make check and make test | оба `PASS` |
|
||||
| Bucket is closed to anonymous requests | 403 |
|
||||
| make validate | `PASS: full OpenAPI 3.1 and JSON Schema validation` |
|
||||
| make student_test | `198 passed, 56 deselected in 106.52s` |
|
||||
| make test-persistence | `FAIL: restart hook failed (inspect your script locally)` |
|
||||
|
||||
`docker compose ps -a` из шага `Stand logs` (сокращено). `postgres`,
|
||||
`valkey` и `s3` созданы заново, а не перезапущены; `s3-bootstrap` не
|
||||
стартовал:
|
||||
|
||||
```text
|
||||
SERVICE CREATED STATUS
|
||||
api 3 minutes ago Exited (0) 22 seconds ago
|
||||
haproxy 3 minutes ago Exited (0) 23 seconds ago
|
||||
migrate 3 minutes ago Up Less than a second
|
||||
postgres 6 seconds ago Up 5 seconds (healthy)
|
||||
s3 6 seconds ago Up 5 seconds (healthy)
|
||||
s3-bootstrap 3 minutes ago Exited (128) 3 minutes ago
|
||||
valkey 6 seconds ago Up 5 seconds (healthy)
|
||||
```
|
||||
|
||||
Журнал нового контейнера PostgreSQL — «PostgreSQL Database directory
|
||||
appears to contain a database; Skipping initialization»: volume прежний,
|
||||
данные целы, пересоздан только контейнер.
|
||||
|
||||
**Причина.** Строка `scripts/restart.sh` `docker compose up -d --wait
|
||||
postgres valkey s3` должна была только дождаться healthcheck тех же
|
||||
контейнеров. Compose 5.4 пересоздаёт контейнер, если его образ скачивался
|
||||
при первом `up`: метка `com.docker.compose.image` получает digest
|
||||
индекса, а повторный `up` сверяет её с digest манифеста платформы.
|
||||
`s3-bootstrap` живёт в сетевом пространстве `s3` (`network_mode:
|
||||
service:s3`), и после пересоздания `s3` его не запустить (код 128). Тогда
|
||||
`docker compose start api haproxy` падает на зависимости, и hook
|
||||
возвращает ошибку. Локальная схема выше это пропустила: образы стенда
|
||||
были в кэше, Compose — 5.6.1.
|
||||
|
||||
Воспроизведение на одном сервисе (`busybox:1.37.0@sha256:a7dbc319…`,
|
||||
образ удалён перед `up`; `up -d` → `restart` → `up -d --wait`), в
|
||||
контейнере образа раннера:
|
||||
|
||||
```text
|
||||
5.6.1 up : before=4bb09091b0b9 after=4bb09091b0b9 same
|
||||
5.4.0 up : before=47e20f7510d9 after=6112acb9b85f RECREATED
|
||||
5.4.0 up --no-recreate: before=270f9a8ca0a6 after=270f9a8ca0a6 same
|
||||
5.6.1 up --no-recreate: before=51fe22287c8a after=51fe22287c8a same
|
||||
```
|
||||
|
||||
Метки у пересозданного под 5.4.0 (первый `up` скачивал образ):
|
||||
|
||||
```text
|
||||
image label before=sha256:a7dbc319b1438115a207e11930dc4bb3e643dcb3ec0bdd694bb36cd8fad289ec # индекс
|
||||
image label after =sha256:d82c2ab94640ded77cf76514ce6a84870761105058a4a9e51b05a8a79be97a6c # манифест платформы
|
||||
```
|
||||
|
||||
Когда образ уже был в кэше, метка с первого раза — digest манифеста
|
||||
платформы, и пересоздания нет. С Compose 5.4.0 на образах из кэша весь
|
||||
`restart.sh` тоже проходит без пересоздания: ID `postgres`, `valkey` и
|
||||
`s3` до и после совпадают.
|
||||
|
||||
**Правка** — `docker compose up -d --wait --no-recreate postgres valkey
|
||||
s3`, то есть ровно то, что описывал комментарий над строкой. На обычном
|
||||
пути поведение прежнее, прежние evidence `make test-persistence`
|
||||
остаются верными.
|
||||
|
||||
**Проверка в условиях раннера.** Отдельный демон Docker 29.2.1
|
||||
(`docker:29.2.1-dind`, `--privileged`, пустой кэш, в нём только образ
|
||||
раннера). Шаги workflow в контейнере образа раннера с Compose 5.4.0,
|
||||
образы стенда скачиваются при `up`:
|
||||
|
||||
| Прогон | `restart.sh` | make test-persistence | Job |
|
||||
|---|---|---|---|
|
||||
| `dind1` | рабочее дерево, `--no-recreate` | `PASS` за 28 с | все шаги — код 0 |
|
||||
| `dind2` (контроль; образы стенда перед ним удалены из кэша демона) | `HEAD`, без флага (подменён только в контейнере job) | `FAIL: restart hook failed`, `s3-bootstrap` — `Exited (128)`, `postgres` и `valkey` — «Up 5 seconds» | падает на этом шаге, как `run 321` |
|
||||
|
||||
`dind1`, остальные шаги: сборка и стенд 84 с, `make test` и `make
|
||||
validate` — `PASS`, `make student_test` — `198 passed, 56 deselected in
|
||||
58.27s`, `make test-failover` — `stop`: `failed_attempts` 0,
|
||||
восстановление 0,94 с; `kill`: `failed_attempts` 0, 0,22 с. Уборка — 16
|
||||
с. После обоих прогонов на демоне нет ни контейнеров, ни volumes; демон
|
||||
удалён.
|
||||
|
||||
+6
-2
@@ -17,6 +17,10 @@ cd "$(dirname "$0")/.."
|
||||
|
||||
docker compose stop haproxy api
|
||||
docker compose restart postgres valkey s3
|
||||
# те же контейнеры: --wait только дожидается их healthcheck
|
||||
docker compose up -d --wait postgres valkey s3
|
||||
# те же контейнеры: --wait только дожидается их healthcheck.
|
||||
# --no-recreate обязателен: Compose 5.4 пересоздаёт контейнер, если его
|
||||
# образ скачивался при первом up (в метке — digest индекса, при сверке —
|
||||
# манифеста платформы), и s3-bootstrap (network_mode: service:s3) после
|
||||
# пересоздания s3 не стартует — код 128, start api падает
|
||||
docker compose up -d --wait --no-recreate postgres valkey s3
|
||||
docker compose start api haproxy
|
||||
|
||||
Reference in New Issue
Block a user