fix: keep the same storage containers in the restart hook

- scripts/restart.sh waits for postgres, valkey and s3 with
  up --wait --no-recreate: Compose 5.4 recreated containers whose image
  was pulled by the first up (index digest in the label, platform
  manifest digest on the check), s3-bootstrap could not join the new s3
  network namespace (exit 128) and make test-persistence failed on a
  clean host; found by the CI job on the Gitea runner
- record the runner failure, the repro across Compose 5.4.0 and 5.6.1
  and the fixed and control runs on a fresh Docker daemon in
  evidence/tests/ci-application.md, REPORT.md and the docker rule

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-29 18:41:31 +03:00
co-authored by Claude Opus 5.5
parent 12d8693799
commit 5e791a6fea
5 changed files with 134 additions and 8 deletions
+8 -2
View File
@@ -379,8 +379,14 @@ Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
тестовых данных. Кэш Valkey после рестарта пуст сам: persistence у
него выключен. Bucket, учётные записи и объекты S3 — в его volume.
- Порядок: `stop haproxy api` → `restart postgres valkey s3` → `up -d
--wait postgres valkey s3` (те же контейнеры, ожидание healthcheck) →
`start api haproxy`. `start api` запускает и зависимости `migrate` и
--wait --no-recreate postgres valkey s3` (те же контейнеры, ожидание
healthcheck) → `start api haproxy`. `--no-recreate` обязателен:
Compose 5.4 пересоздаёт контейнер, если его образ скачивался при первом
`up` (метка — digest индекса, сверка — digest манифеста платформы), и
`s3-bootstrap` (`network_mode: service:s3`) после пересоздания `s3` не
стартует — код 128, `start api` падает. Нашёл CI на раннере Gitea
(`evidence/tests/ci-application.md`); локально образы были в кэше, и
Compose 5.6 так не делает. `start api` запускает и зависимости `migrate` и
`s3-bootstrap`: повторные миграции и bootstrap — no-op («exists»).
Число реплик не меняется: `start` поднимает те же контейнеры, а не
масштабирует (реплику, остановленную `stop-one.sh`, тоже). Уборщика
+1 -1
View File
@@ -525,7 +525,7 @@ infra/ # конфигурации сервисов сте
valkey/valkey.conf # лимит памяти и LRU, persistence выключен
s3/bootstrap.sh # bootstrap S3 (сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects (у уборщика — ещё список только с префиксом S3_CLEANER_LIST_PREFIX = <база>/attachments/), пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs
haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене)
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); ожидание хранилищ — up --wait --no-recreate (Compose 5.4 иначе пересоздаёт контейнеры, чьи образы скачивались при первом up, и s3-bootstrap не стартует); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG
scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/
Dockerfile # builder (uv sync --locked) → runtime: .venv + src + миграции, UID 10001, healthcheck, MALLOC_MMAP_THRESHOLD_ (буфер загрузки растёт без копии)
+24 -3
View File
@@ -8,8 +8,9 @@
Сафронов — на 5» (ссылка — после публикации). Из чистого clone
проверен commit `de98d77` (2026-10-29, итоговый код всех changes
лабы 4): `evidence/tests/clean-clone-final.md`. После него менялись
только документы и добавлен CI job (`.github/workflows/application.yml`,
раздел «CI»); код приложения и стенда прежний.
только документы, добавлен CI job (`.github/workflows/application.yml`)
и исправлен restart hook: `--no-recreate` в `scripts/restart.sh`
(раздел «CI»). Код приложения прежний.
- Использованные источники, библиотеки и помощь ИИ: раздел «Источники,
библиотеки и использование ИИ» в конце отчёта.
@@ -173,6 +174,20 @@ Gitea при каждом push в fork. Actions включены в настро
`actions/checkout` с `Could not resolve host: gitea` и до проверок не
доходит. Его `make check` и `make validate` выполняет job `application`.
Job на раннере нашёл дефект restart hook. Там Compose 5.4, образы стенда
скачивались при первом `up`. Строка `scripts/restart.sh` `up -d --wait
postgres valkey s3` должна была лишь дождаться тех же контейнеров, а
пересоздала все три: метка контейнера хранит digest индекса образа,
повторный `up` сравнивает её с digest манифеста платформы. `s3-bootstrap`
(`network_mode: service:s3`) после пересоздания `s3` не стартует (код
128), за ним падает `start api haproxy`, и `make test-persistence`
отвечает «restart hook failed». Данные целы: пересоздан только контейнер,
volume тот же. Проверка из чистого clone этого не поймала: образы были в
кэше, а Compose 5.6 так не делает. Исправлено `--no-recreate`.
Воспроизведение (Compose 5.4.0 и 5.6.1, с флагом и без) и прогон после
правки на отдельном демоне Docker с пустым кэшем — в
`evidence/tests/ci-application.md`.
Раннер (`act_runner`, образ `gitea/runner-images:ubuntu-latest`)
запускает job в контейнере на том же Docker, что и стенд. Поэтому
отличия от локального запуска собраны в override `.github/ci/compose.yml`:
@@ -2220,7 +2235,13 @@ verify → правки по verify → archive. Каждый этап выпо
- две попытки метки сверки упали на собственной проверке полноты
строк k6;
- срок чтения aiohttp давал редкие 503 на исправном S3
(`fix-upload-put-flake`).
(`fix-upload-put-flake`);
- restart hook (`scripts/restart.sh`) полагался на то, что `up --wait`
не пересоздаёт работающие контейнеры. Compose 5.4 пересоздаёт их,
если образ скачивался при первом `up`, и `make test-persistence`
на чистой машине падал. Проверка из чистого clone этого не поймала:
образы были в кэше. Нашёл CI job на раннере Gitea, исправлено
`--no-recreate` (`evidence/tests/ci-application.md`).
Утверждения отчёта о поведении стенда подтверждены командами, их выводы
лежат в `evidence/`. Решения, перечисленные выше, принимал автор.
+95
View File
@@ -209,3 +209,98 @@ PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
Шаги `Stand logs` (`if: failure()`) и `Remove the stand` (`if:
always()`) в упавшем прогоне отработали, остальные пропущены.
## Второй прогон на раннере: дефект restart hook
Push `12d8693`, `run 321` (2026-10-29). Раннер:
```text
docker 29.2.1, linux/x86_64, 8 CPU, 33610702848 B
Docker Compose version 5.4.0-2
Python 3.12.3
```
| Шаг | Итог |
|---|---|
| Checkout | `12d8693 ci: check out by the public Gitea address and run make validate` |
| Build and start the stand | 3 мин 17 с (без кэша, образы скачаны при `up`); `LB ready: 1bb8564aeb34 c120ac57eefd` |
| make check and make test | оба `PASS` |
| Bucket is closed to anonymous requests | 403 |
| make validate | `PASS: full OpenAPI 3.1 and JSON Schema validation` |
| make student_test | `198 passed, 56 deselected in 106.52s` |
| make test-persistence | `FAIL: restart hook failed (inspect your script locally)` |
`docker compose ps -a` из шага `Stand logs` (сокращено). `postgres`,
`valkey` и `s3` созданы заново, а не перезапущены; `s3-bootstrap` не
стартовал:
```text
SERVICE CREATED STATUS
api 3 minutes ago Exited (0) 22 seconds ago
haproxy 3 minutes ago Exited (0) 23 seconds ago
migrate 3 minutes ago Up Less than a second
postgres 6 seconds ago Up 5 seconds (healthy)
s3 6 seconds ago Up 5 seconds (healthy)
s3-bootstrap 3 minutes ago Exited (128) 3 minutes ago
valkey 6 seconds ago Up 5 seconds (healthy)
```
Журнал нового контейнера PostgreSQL — «PostgreSQL Database directory
appears to contain a database; Skipping initialization»: volume прежний,
данные целы, пересоздан только контейнер.
**Причина.** Строка `scripts/restart.sh` `docker compose up -d --wait
postgres valkey s3` должна была только дождаться healthcheck тех же
контейнеров. Compose 5.4 пересоздаёт контейнер, если его образ скачивался
при первом `up`: метка `com.docker.compose.image` получает digest
индекса, а повторный `up` сверяет её с digest манифеста платформы.
`s3-bootstrap` живёт в сетевом пространстве `s3` (`network_mode:
service:s3`), и после пересоздания `s3` его не запустить (код 128). Тогда
`docker compose start api haproxy` падает на зависимости, и hook
возвращает ошибку. Локальная схема выше это пропустила: образы стенда
были в кэше, Compose — 5.6.1.
Воспроизведение на одном сервисе (`busybox:1.37.0@sha256:a7dbc319…`,
образ удалён перед `up`; `up -d` → `restart` → `up -d --wait`), в
контейнере образа раннера:
```text
5.6.1 up : before=4bb09091b0b9 after=4bb09091b0b9 same
5.4.0 up : before=47e20f7510d9 after=6112acb9b85f RECREATED
5.4.0 up --no-recreate: before=270f9a8ca0a6 after=270f9a8ca0a6 same
5.6.1 up --no-recreate: before=51fe22287c8a after=51fe22287c8a same
```
Метки у пересозданного под 5.4.0 (первый `up` скачивал образ):
```text
image label before=sha256:a7dbc319b1438115a207e11930dc4bb3e643dcb3ec0bdd694bb36cd8fad289ec # индекс
image label after =sha256:d82c2ab94640ded77cf76514ce6a84870761105058a4a9e51b05a8a79be97a6c # манифест платформы
```
Когда образ уже был в кэше, метка с первого раза — digest манифеста
платформы, и пересоздания нет. С Compose 5.4.0 на образах из кэша весь
`restart.sh` тоже проходит без пересоздания: ID `postgres`, `valkey` и
`s3` до и после совпадают.
**Правка** — `docker compose up -d --wait --no-recreate postgres valkey
s3`, то есть ровно то, что описывал комментарий над строкой. На обычном
пути поведение прежнее, прежние evidence `make test-persistence`
остаются верными.
**Проверка в условиях раннера.** Отдельный демон Docker 29.2.1
(`docker:29.2.1-dind`, `--privileged`, пустой кэш, в нём только образ
раннера). Шаги workflow в контейнере образа раннера с Compose 5.4.0,
образы стенда скачиваются при `up`:
| Прогон | `restart.sh` | make test-persistence | Job |
|---|---|---|---|
| `dind1` | рабочее дерево, `--no-recreate` | `PASS` за 28 с | все шаги — код 0 |
| `dind2` (контроль; образы стенда перед ним удалены из кэша демона) | `HEAD`, без флага (подменён только в контейнере job) | `FAIL: restart hook failed`, `s3-bootstrap` — `Exited (128)`, `postgres` и `valkey` — «Up 5 seconds» | падает на этом шаге, как `run 321` |
`dind1`, остальные шаги: сборка и стенд 84 с, `make test` и `make
validate` — `PASS`, `make student_test` — `198 passed, 56 deselected in
58.27s`, `make test-failover` — `stop`: `failed_attempts` 0,
восстановление 0,94 с; `kill`: `failed_attempts` 0, 0,22 с. Уборка — 16
с. После обоих прогонов на демоне нет ни контейнеров, ни volumes; демон
удалён.
+6 -2
View File
@@ -17,6 +17,10 @@ cd "$(dirname "$0")/.."
docker compose stop haproxy api
docker compose restart postgres valkey s3
# те же контейнеры: --wait только дожидается их healthcheck
docker compose up -d --wait postgres valkey s3
# те же контейнеры: --wait только дожидается их healthcheck.
# --no-recreate обязателен: Compose 5.4 пересоздаёт контейнер, если его
# образ скачивался при первом up (в метке — digest индекса, при сверке —
# манифеста платформы), и s3-bootstrap (network_mode: service:s3) после
# пересоздания s3 не стартует — код 128, start api падает
docker compose up -d --wait --no-recreate postgres valkey s3
docker compose start api haproxy