Files
mtusi2026lab4/evidence/s3/bootstrap.md
T
ricoromaandClaude Opus 5.5 f2dc0b368a docs: add upload-consistency evidence and report
- evidence: consistency (driver upload-consistency), cleaner process,
  cleaner S3 key, pending index plan on the working database
- re-run failure_checks (29/29), student_test via LB and test_isolated
  with the cleaner and storage-consistency coverage
- REPORT: database and S3 consistency, compensation table, grace period
  rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows,
  limitations; PLAN stage 3 and AGENTS evidence map

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 06:32:48 +03:00

7.4 KiB
Raw Blame History

Bootstrap S3: первый запуск, повтор, смена секрета, ошибка шага

  • Дата: 2026-10-20, 17:19–17:21 UTC.
  • Commit: 2e997f9.
  • Стенд: временный проект compose mtusi-lab4-s3fresh с тем же docker-compose.yml и .env, на новых volumes. Внешние порты сдвинуты окружением: APP_OUT_PORT=18180, POSTGRES_OUT_PORT=15433, VALKEY_OUT_PORT=16380, S3_OUT_PORT=18334. Рабочий стенд mtusi-lab4 в это время работал и не затрагивался.
  • Docker Desktop 29.8.2, compose 5.5.1, Apple M3 Pro.
  • Спек object-storage: «Приватный bucket создаёт bootstrap» (первый и повторный запуск, новый секрет API, ошибка), «Запрет анонимного доступа» («До bootstrap»); container-run: «Bootstrap S3 один раз». Design change s3-storage, решения 3–4.
  • С change upload-consistency (commit 5b42bd2) bootstrap заводит и пользователя cleaner и проверяет его права; первый запуск, повтор и новый секрет уборщика — evidence/s3/cleaner-key.md.

1. Первый запуск на пустых volumes

$ docker compose -p mtusi-lab4-s3fresh up -d   (fresh volumes, ports shifted)
up -d exit=0 in 9 s
LB ready after 12 s
mtusi-lab4-s3fresh_postgres_data
mtusi-lab4-s3fresh_s3_data
s3 started 2026-10-20T17:19:25.999144958Z finished 0001-01-01T00:00:00Z exit 0
s3-bootstrap started 2026-10-20T17:19:30.649598544Z finished 2026-10-20T17:19:34.176309754Z exit 0
migrate started 2026-10-20T17:19:28.497465917Z finished 2026-10-20T17:19:30.952969252Z exit 0
api started 2026-10-20T17:19:34.36139567Z finished 0001-01-01T00:00:00Z exit 0
api started 2026-10-20T17:19:34.259315212Z finished 0001-01-01T00:00:00Z exit 0
haproxy started 2026-10-20T17:19:34.481840962Z finished 0001-01-01T00:00:00Z exit 0
$ docker compose logs -t s3-bootstrap
2026-10-20T17:19:31.154643710Z s3-bootstrap: bucket messenger created
2026-10-20T17:19:32.245046586Z s3-bootstrap: user api created
2026-10-20T17:19:34.173270295Z s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
  • Сервер s3 стал healthy за 4,7 с (s3 started → s3-bootstrap started).
  • Bootstrap занял 3,5 с, из них ~1,9 с — проверка: первая запись после старта сервера ждёт регистрации тома (design, Context).
  • Реплики api стартовали через 0,1 с после завершения bootstrap (17:19:34.176 → 17:19:34.259). Bootstrap прошёл один раз, на свой прогон.

2. Повторный запуск дважды: ничего не меняет

Перед повтором клиент приложения записал 3 объекта, после — прочитал их. Скрипт persist_probe.py (scratchpad): клиент src/infra/s3, S3__PORT=18334.

$ persist_probe.py write 3 (S3__PORT=18334)
written and confirmed: 3 objects
$ docker compose run --rm s3-bootstrap   # repeat 1
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
exit=0, 2.9 s
$ docker compose run --rm s3-bootstrap   # repeat 2
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
exit=0, 2.9 s
$ persist_probe.py verify
read back with the same SHA-256: 3/3; deleted

3. Новый секрет API: прежний перестаёт действовать

Новый секрет — случайный hex в переменной shell, разовый run -e. Проверка — один PUT и DELETE клиентом приложения: с секретом из .env («old») и с новым (окружение S3__SECRET_ACCESS_KEY). Скрипт put_once.py, значения не печатаются.

$ docker compose run --rm -e S3_API_SECRET_KEY=<new> s3-bootstrap
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: key of api recreated (secret changed)
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
exit=0
old secret (.env): ObjectStorageUnavailable (503)
new secret: PUT and DELETE ok
$ docker compose run --rm s3-bootstrap   # back to the .env secret
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: key of api recreated (secret changed)
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
exit=0
old secret (.env): PUT and DELETE ok
new secret: ObjectStorageUnavailable (503)

Смену секрета bootstrap распознаёт по ответу SignatureDoesNotMatch своей проверки: ключ есть, секрет другой. Тогда он пересоздаёт ключ, пользователь и политика остаются.

4. Ошибка шага: код 1, шаг назван, реплики не стартуют

$ docker compose run --rm -e S3_BUCKET=Bad_Bucket s3-bootstrap
s3-bootstrap: error: bucket name can only contain lower case characters, numbers, dots, and hyphens
s3-bootstrap: FAILED: bucket create
exit=1

Реплики удалены (rm -sf api haproxy), затем стенд поднят с недопустимым именем bucket:

api containers before: 0
$ S3__BUCKET=Bad_Bucket docker compose up -d api
 Container mtusi-lab4-s3fresh-s3-bootstrap-1 Error service "s3-bootstrap" didn't complete successfully: exit 1
service "s3-bootstrap" didn't complete successfully: exit 1
exit=1
api containers after: 2 created, 0 running
s3-bootstrap: error: bucket name can only contain lower case characters, numbers, dots, and hyphens
s3-bootstrap: FAILED: bucket create

Секретов в выводе нет: weed shell получает их через stdin, curl — файлом на tmpfs. Вывод команд с секретами bootstrap не печатает.

Затем docker compose -p mtusi-lab4-s3fresh down --remove-orphans: контейнеры и сеть удалены. Volumes mtusi-lab4-s3fresh_postgres_data и mtusi-lab4-s3fresh_s3_data остались: удалить их агенту не разрешено, это сделает пользователь (docker volume rm).

5. До bootstrap анонимного окна нет

Одноразовый сервер (docker run --rm, анонимный volume, в сеть не подключён) с теми же аргументами weed server, что у сервиса s3, и случайной административной парой. Bootstrap не запускался:

healthy after ~4 s, bootstrap not run
anonymous create bucket: 403
anonymous put object:    403
anonymous list buckets:  403

s3.bucket.list — bucket messenger не создан. Без административной пары в окружении сервер открыт анониму целиком (design, Context), поэтому она задана с первого старта.