diff --git a/.claude/rules/docker.md b/.claude/rules/docker.md index 23c95ab5..7cc71b1c 100644 --- a/.claude/rules/docker.md +++ b/.claude/rules/docker.md @@ -379,8 +379,14 @@ Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh` тестовых данных. Кэш Valkey после рестарта пуст сам: persistence у него выключен. Bucket, учётные записи и объекты S3 — в его volume. - Порядок: `stop haproxy api` → `restart postgres valkey s3` → `up -d - --wait postgres valkey s3` (те же контейнеры, ожидание healthcheck) → - `start api haproxy`. `start api` запускает и зависимости `migrate` и + --wait --no-recreate postgres valkey s3` (те же контейнеры, ожидание + healthcheck) → `start api haproxy`. `--no-recreate` обязателен: + Compose 5.4 пересоздаёт контейнер, если его образ скачивался при первом + `up` (метка — digest индекса, сверка — digest манифеста платформы), и + `s3-bootstrap` (`network_mode: service:s3`) после пересоздания `s3` не + стартует — код 128, `start api` падает. Нашёл CI на раннере Gitea + (`evidence/tests/ci-application.md`); локально образы были в кэше, и + Compose 5.6 так не делает. `start api` запускает и зависимости `migrate` и `s3-bootstrap`: повторные миграции и bootstrap — no-op («exists»). Число реплик не меняется: `start` поднимает те же контейнеры, а не масштабирует (реплику, остановленную `stop-one.sh`, тоже). Уборщика diff --git a/AGENTS.md b/AGENTS.md index 4a8473fe..1e03c152 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -525,7 +525,7 @@ infra/ # конфигурации сервисов сте valkey/valkey.conf # лимит памяти и LRU, persistence выключен s3/bootstrap.sh # bootstrap S3 (сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects (у уборщика — ещё список только с префиксом S3_CLEANER_LIST_PREFIX = <база>/attachments/), пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене) -scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам +scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); ожидание хранилищ — up --wait --no-recreate (Compose 5.4 иначе пересоздаёт контейнеры, чьи образы скачивались при первом up, и s3-bootstrap не стартует); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/ Dockerfile # builder (uv sync --locked) → runtime: .venv + src + миграции, UID 10001, healthcheck, MALLOC_MMAP_THRESHOLD_ (буфер загрузки растёт без копии) diff --git a/REPORT.md b/REPORT.md index 62b190cc..651cd5e2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -8,8 +8,9 @@ Сафронов — на 5» (ссылка — после публикации). Из чистого clone проверен commit `de98d77` (2026-10-29, итоговый код всех changes лабы 4): `evidence/tests/clean-clone-final.md`. После него менялись - только документы и добавлен CI job (`.github/workflows/application.yml`, - раздел «CI»); код приложения и стенда прежний. + только документы, добавлен CI job (`.github/workflows/application.yml`) + и исправлен restart hook: `--no-recreate` в `scripts/restart.sh` + (раздел «CI»). Код приложения прежний. - Использованные источники, библиотеки и помощь ИИ: раздел «Источники, библиотеки и использование ИИ» в конце отчёта. @@ -173,6 +174,20 @@ Gitea при каждом push в fork. Actions включены в настро `actions/checkout` с `Could not resolve host: gitea` и до проверок не доходит. Его `make check` и `make validate` выполняет job `application`. +Job на раннере нашёл дефект restart hook. Там Compose 5.4, образы стенда +скачивались при первом `up`. Строка `scripts/restart.sh` `up -d --wait +postgres valkey s3` должна была лишь дождаться тех же контейнеров, а +пересоздала все три: метка контейнера хранит digest индекса образа, +повторный `up` сравнивает её с digest манифеста платформы. `s3-bootstrap` +(`network_mode: service:s3`) после пересоздания `s3` не стартует (код +128), за ним падает `start api haproxy`, и `make test-persistence` +отвечает «restart hook failed». Данные целы: пересоздан только контейнер, +volume тот же. Проверка из чистого clone этого не поймала: образы были в +кэше, а Compose 5.6 так не делает. Исправлено `--no-recreate`. +Воспроизведение (Compose 5.4.0 и 5.6.1, с флагом и без) и прогон после +правки на отдельном демоне Docker с пустым кэшем — в +`evidence/tests/ci-application.md`. + Раннер (`act_runner`, образ `gitea/runner-images:ubuntu-latest`) запускает job в контейнере на том же Docker, что и стенд. Поэтому отличия от локального запуска собраны в override `.github/ci/compose.yml`: @@ -2220,7 +2235,13 @@ verify → правки по verify → archive. Каждый этап выпо - две попытки метки сверки упали на собственной проверке полноты строк k6; - срок чтения aiohttp давал редкие 503 на исправном S3 - (`fix-upload-put-flake`). + (`fix-upload-put-flake`); + - restart hook (`scripts/restart.sh`) полагался на то, что `up --wait` + не пересоздаёт работающие контейнеры. Compose 5.4 пересоздаёт их, + если образ скачивался при первом `up`, и `make test-persistence` + на чистой машине падал. Проверка из чистого clone этого не поймала: + образы были в кэше. Нашёл CI job на раннере Gitea, исправлено + `--no-recreate` (`evidence/tests/ci-application.md`). Утверждения отчёта о поведении стенда подтверждены командами, их выводы лежат в `evidence/`. Решения, перечисленные выше, принимал автор. diff --git a/evidence/tests/ci-application.md b/evidence/tests/ci-application.md index 488da1c6..62f3515f 100644 --- a/evidence/tests/ci-application.md +++ b/evidence/tests/ci-application.md @@ -209,3 +209,98 @@ PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. Шаги `Stand logs` (`if: failure()`) и `Remove the stand` (`if: always()`) в упавшем прогоне отработали, остальные пропущены. + +## Второй прогон на раннере: дефект restart hook + +Push `12d8693`, `run 321` (2026-10-29). Раннер: + +```text +docker 29.2.1, linux/x86_64, 8 CPU, 33610702848 B +Docker Compose version 5.4.0-2 +Python 3.12.3 +``` + +| Шаг | Итог | +|---|---| +| Checkout | `12d8693 ci: check out by the public Gitea address and run make validate` | +| Build and start the stand | 3 мин 17 с (без кэша, образы скачаны при `up`); `LB ready: 1bb8564aeb34 c120ac57eefd` | +| make check and make test | оба `PASS` | +| Bucket is closed to anonymous requests | 403 | +| make validate | `PASS: full OpenAPI 3.1 and JSON Schema validation` | +| make student_test | `198 passed, 56 deselected in 106.52s` | +| make test-persistence | `FAIL: restart hook failed (inspect your script locally)` | + +`docker compose ps -a` из шага `Stand logs` (сокращено). `postgres`, +`valkey` и `s3` созданы заново, а не перезапущены; `s3-bootstrap` не +стартовал: + +```text +SERVICE CREATED STATUS +api 3 minutes ago Exited (0) 22 seconds ago +haproxy 3 minutes ago Exited (0) 23 seconds ago +migrate 3 minutes ago Up Less than a second +postgres 6 seconds ago Up 5 seconds (healthy) +s3 6 seconds ago Up 5 seconds (healthy) +s3-bootstrap 3 minutes ago Exited (128) 3 minutes ago +valkey 6 seconds ago Up 5 seconds (healthy) +``` + +Журнал нового контейнера PostgreSQL — «PostgreSQL Database directory +appears to contain a database; Skipping initialization»: volume прежний, +данные целы, пересоздан только контейнер. + +**Причина.** Строка `scripts/restart.sh` `docker compose up -d --wait +postgres valkey s3` должна была только дождаться healthcheck тех же +контейнеров. Compose 5.4 пересоздаёт контейнер, если его образ скачивался +при первом `up`: метка `com.docker.compose.image` получает digest +индекса, а повторный `up` сверяет её с digest манифеста платформы. +`s3-bootstrap` живёт в сетевом пространстве `s3` (`network_mode: +service:s3`), и после пересоздания `s3` его не запустить (код 128). Тогда +`docker compose start api haproxy` падает на зависимости, и hook +возвращает ошибку. Локальная схема выше это пропустила: образы стенда +были в кэше, Compose — 5.6.1. + +Воспроизведение на одном сервисе (`busybox:1.37.0@sha256:a7dbc319…`, +образ удалён перед `up`; `up -d` → `restart` → `up -d --wait`), в +контейнере образа раннера: + +```text +5.6.1 up : before=4bb09091b0b9 after=4bb09091b0b9 same +5.4.0 up : before=47e20f7510d9 after=6112acb9b85f RECREATED +5.4.0 up --no-recreate: before=270f9a8ca0a6 after=270f9a8ca0a6 same +5.6.1 up --no-recreate: before=51fe22287c8a after=51fe22287c8a same +``` + +Метки у пересозданного под 5.4.0 (первый `up` скачивал образ): + +```text +image label before=sha256:a7dbc319b1438115a207e11930dc4bb3e643dcb3ec0bdd694bb36cd8fad289ec # индекс +image label after =sha256:d82c2ab94640ded77cf76514ce6a84870761105058a4a9e51b05a8a79be97a6c # манифест платформы +``` + +Когда образ уже был в кэше, метка с первого раза — digest манифеста +платформы, и пересоздания нет. С Compose 5.4.0 на образах из кэша весь +`restart.sh` тоже проходит без пересоздания: ID `postgres`, `valkey` и +`s3` до и после совпадают. + +**Правка** — `docker compose up -d --wait --no-recreate postgres valkey +s3`, то есть ровно то, что описывал комментарий над строкой. На обычном +пути поведение прежнее, прежние evidence `make test-persistence` +остаются верными. + +**Проверка в условиях раннера.** Отдельный демон Docker 29.2.1 +(`docker:29.2.1-dind`, `--privileged`, пустой кэш, в нём только образ +раннера). Шаги workflow в контейнере образа раннера с Compose 5.4.0, +образы стенда скачиваются при `up`: + +| Прогон | `restart.sh` | make test-persistence | Job | +|---|---|---|---| +| `dind1` | рабочее дерево, `--no-recreate` | `PASS` за 28 с | все шаги — код 0 | +| `dind2` (контроль; образы стенда перед ним удалены из кэша демона) | `HEAD`, без флага (подменён только в контейнере job) | `FAIL: restart hook failed`, `s3-bootstrap` — `Exited (128)`, `postgres` и `valkey` — «Up 5 seconds» | падает на этом шаге, как `run 321` | + +`dind1`, остальные шаги: сборка и стенд 84 с, `make test` и `make +validate` — `PASS`, `make student_test` — `198 passed, 56 deselected in +58.27s`, `make test-failover` — `stop`: `failed_attempts` 0, +восстановление 0,94 с; `kill`: `failed_attempts` 0, 0,22 с. Уборка — 16 +с. После обоих прогонов на демоне нет ни контейнеров, ни volumes; демон +удалён. diff --git a/scripts/restart.sh b/scripts/restart.sh index 3adca548..1bba1eea 100755 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -17,6 +17,10 @@ cd "$(dirname "$0")/.." docker compose stop haproxy api docker compose restart postgres valkey s3 -# те же контейнеры: --wait только дожидается их healthcheck -docker compose up -d --wait postgres valkey s3 +# те же контейнеры: --wait только дожидается их healthcheck. +# --no-recreate обязателен: Compose 5.4 пересоздаёт контейнер, если его +# образ скачивался при первом up (в метке — digest индекса, при сверке — +# манифеста платформы), и s3-bootstrap (network_mode: service:s3) после +# пересоздания s3 не стартует — код 128, start api падает +docker compose up -d --wait --no-recreate postgres valkey s3 docker compose start api haproxy