diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index b7fdf77b..3cb5cba1 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -20,3 +20,22 @@ измеряемого изменения (сейчас `5d5d8f9`, перенос кода лабы 3), а в `bench.md` — правило менять его при переходе в следующую лабу (раздел «Переход в следующую лабу» AGENTS.md). + +## Bootstrap после удаления bucket: «api key put (code 500)» + +- **Где:** `infra/s3/bootstrap.sh` (режим `apply`), SeaweedFS 4.48. +- **Что:** на временном стенде bucket удалили вручную, повторный + bootstrap написал «bucket created», затем «FAILED: api key put (code + 500)». Предположение: SeaweedFS не принимает запись в заново созданный + bucket с тем же именем сразу после удаления. Причина не установлена: + контейнер S3 в тот момент мог перезапускаться. Найдено в правках по + verify change `s3-storage` (2026-10-20), в evidence не входит. +- **Чем грозит:** восстановление стенда после удаления bucket мимо API + не проходит одним повтором bootstrap. Штатный путь (bucket не + удаляют) не затронут. +- **Предложение:** воспроизвести на свежем стенде (`fs.rm` / `s3.bucket.delete`, + затем `docker compose run --rm s3-bootstrap`). Если повторяется — + bootstrap после создания bucket ждёт, пока проверочная запись пройдёт + (повтор с ограниченным сроком), и описать это в `docker.md`. Удобно + разобрать в change `track2-reconciler`: там ошибки на стороне S3 + вносятся намеренно. diff --git a/PLAN.md b/PLAN.md index 6bb90855..244ef593 100644 --- a/PLAN.md +++ b/PLAN.md @@ -591,3 +591,15 @@ design) и «Вопросы» (ждут ответа; ответ дописыв **Ответ пользователя 2026-10-20:** в change `attachments`: он добавляет миграцию, и rollout со старого образа на новую схему — нужное evidence. До тех пор запись остаётся в `KNOWN_ISSUES.md`. +4. HEAD при удалённом bucket даёт `None`, как отсутствующий ключ: + SeaweedFS отвечает на HEAD одним и тем же 404 без тела (решение 21, + design «Уточнения apply» п. 10). Нужен ли лишний GET `Range: + bytes=0-0` на каждый промах, чтобы их различить? + + **Ответ основной сессии 2026-10-20:** нет, ограничение принято. + Удалённый bucket видят `put`, `open` и `delete` (503), а также + bootstrap и `make s3_check`. Лишний запрос на каждый промах не нужен. + Правило для следующих changes: промах `head` не основание для + разрушающего решения (удалить строку, пометить вложение потерянным) + без проверки, что bucket на месте. Это учитывают `upload-consistency` + и reconciler трека 2. diff --git a/REPORT.md b/REPORT.md index a6003bf7..80a55cdc 100644 --- a/REPORT.md +++ b/REPORT.md @@ -149,8 +149,11 @@ compose up -d s3-bootstrap` или `make run_docker`. ## Доказательства критериев -Строки S3 (change `s3-storage`) сняты с commit `2e997f9` на стенде `make -run_docker`, если не сказано иное. +Строки S3 (change `s3-storage`) сняты на стенде `make run_docker`, если +не сказано иное: `evidence/s3/restart.md`, `client.md`, `privacy.md`, +`evidence/tests/failure-checks.md` и `test-isolated-s3-cleanup.md` — с +commit `f57635a` (правки по verify), остальные файлы `evidence/s3/` — с +`2e997f9`. **До change `attachments` красные:** - публичный smoke, `make test-persistence` и `make test-failover`: они @@ -166,13 +169,13 @@ run_docker`, если не сказано иное. | --- | --- | --- | --- | | Публичный smoke | make test | TODO после `attachments`; сейчас `FAIL: response: missing required fields` (нет `attachment_ids`) | `evidence/tests/test-isolated-s3-cleanup.md` | | «3»: S3-сервер в общем стенде, закреплённая версия | `make run_docker`, `docker compose ps` | `s3` на `chrislusf/seaweedfs:4.48@sha256:…` в состоянии `healthy`, `s3-bootstrap` — `Exited (0)`, реплики стартуют после него | `evidence/s3/privacy.md` (раздел 3), `evidence/s3/bootstrap.md` (раздел 1) | -| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 25 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL | `evidence/s3/restart.md` | +| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 24 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL; первая запись после `healthy` — 11–27 мс в 18 рестартах и `kill` (healthcheck ждёт регистрации тома) | `evidence/s3/restart.md` | | «3»: создание приватного bucket описано | `docker compose logs s3-bootstrap` на пустом volume | «bucket messenger created», «user api created», «checks passed» | `evidence/s3/bootstrap.md` (раздел 1), «Архитектура и решения» → «Bootstrap S3» | | «4»: bootstrap идемпотентен | `docker compose run --rm s3-bootstrap` дважды; повтор с новым секретом; `S3_BUCKET=Bad_Bucket` | повтор — «exists», код 0, объекты на месте; новый секрет работает, прежний — 503; ошибка — код 1, «FAILED: bucket create», реплики не стартуют | `evidence/s3/bootstrap.md` | | «4»: отдельные ограниченные credentials API | `make s3_check` (строки `api key …`); секреты по сервисам из `docker compose config` | ключ API: объекты своего bucket — 200 / 204; список, bucket, политика, ACL, чужой bucket — 403; административной пары у API нет | `evidence/s3/privacy.md` (разделы 1, 4) | -| «4»: административная консоль не в общей сети | `nc -z` из сети стенда (`make s3_check`); `docker port`; gRPC без токена | открыты только 8333 и 18333; master, filer, volume и admin UI закрыты; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` | -| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 52 проверки, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` | -| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage`); клиент при `pause` и `stop` S3 | без S3 `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` | +| «4»: административная консоль не в общей сети | `make s3_check`: слушающие сокеты контейнера S3 (`netstat`), затем `nc -z` из сети стенда; `docker port`; gRPC без токена | вне loopback слушают только 8333 и 18333; master, filer и volume — только на `127.0.0.1` и из сети закрыты, admin UI не слушает; со служебными серверами на `0.0.0.0` (временный стенд) — код 1 и список лишних портов; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` | +| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 48 проверок, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` | +| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage[stop\|pause]`); клиент при `pause` и `stop` S3, без bucket и без прав | без S3 (остановлен или заморожен) `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 1–8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит; удалённый bucket и отказ в доступе — 503 с записью `error`, а не «объекта нет» (кроме HEAD: 404 без тела) | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` | | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; подбор лимитов API — `upload-memory` | `evidence/s3/memory.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | Остальные пункты уровня 3 | TODO (`attachments`) | TODO | TODO | @@ -187,10 +190,12 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 007–5 008 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 9 мс; потерь нет | -| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,6 с, код 0; вызов — 503 за 2–8 мс | после `start` первый вызов тем же клиентом проходит | -| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 3 с; потерь нет | -| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 25 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — | +| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 004–5 005 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 8 мс; потерь нет | +| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,3 с, код 0; вызов — 503 за 1–8 мс | после `start` первый вызов тем же клиентом проходит (29 мс) | +| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 5 с; потерь нет | +| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 24 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — | +| Рестарт и SIGKILL S3, сразу первая запись | запись не ждёт регистрации тома после `healthy` | до правки healthcheck — 2 из 8 рестартов ждали 4 771 и 2 523 мс (срок 5 с); после — 11–27 мс в 12 рестартах и 6 `kill` | — | +| Bucket удалён мимо bootstrap | 503 и `error`, а не «объекта нет» | `put`, `open`, `delete` — 503, «bucket is missing» / «denied access»; `head` — `None` (404 без тела, ограничение принято) | — | | Неверный секрет API у приложения | 503 и запись `error` без секрета | `SignatureDoesNotMatch` → 503, одна запись `error` | — | | 20 одновременных PUT по 10 MiB | без OOM | анонимная память не больше 379 MiB; последний PUT подтверждён через 7,2 с (очередь лимита загрузок 64 МБ) | — | diff --git a/evidence/s3/client.md b/evidence/s3/client.md index 8fed2994..b7d03bc8 100644 --- a/evidence/s3/client.md +++ b/evidence/s3/client.md @@ -1,29 +1,31 @@ -# Клиент S3 приложения: операции, отказы, отказ в учётных данных +# Клиент S3 приложения: операции, отказы, отказ в учётных данных и в доступе -- Дата: 2026-10-20, 17:15–17:16 UTC. -- Commit: `2e997f9`. -- Стенд: `make run_docker`, проект `mtusi-lab4`. Клиент запущен в - консоли (`uv run python`, настройки из `.env` и `config.toml` по - умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3] - timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов. -- Скрипт `probe_client.py` (scratchpad) вызывает `src.infra.s3` +- Дата: 2026-10-20, 18:32–18:34 UTC. +- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода). +- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Клиент + запущен в консоли (`uv run python`, настройки из `.env` и `config.toml` + по умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3] + timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов. Раздел 4 + — ещё и временный стенд (ниже). +- Скрипты (scratchpad): `probe_client.py` вызывает `src.infra.s3` (`ObjectStorage`) и docker compose (`pause`, `stop`, `start` сервиса - `s3`). + `s3`); `s1_check.py` — `head`, `open`, `delete`, `put` отсутствующего + ключа и записи журнала. - Спек `object-storage`: «Клиент хранилища в приложении» — «S3 - остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Учётные данные - отклонены»; `service-logging`: «Обращение к S3». Design change - `s3-storage`, решение 7. + остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Bucket нет», + «Учётные данные отклонены»; `service-logging`: «Обращение к S3». Design + change `s3-storage`, решение 7 и «Уточнения apply», п. 10. - Hostname машины в поле `instance_id` заменён на ``. ## 1. Операции ``` $ uv run python probe_client.py ops -put 3 MiB: ok in 139 ms +put 3 MiB: ok in 95 ms head: ok in 3 ms head: size=3145745 content_type=image/png open: size=3145745 content_type=image/png -open+read: ok in 63 ms +open+read: ok in 36 ms sha256 equal: True delete: ok in 2 ms head missing -> None @@ -38,34 +40,35 @@ delete missing: ok in 1 ms ``` $ uv run python probe_client.py outage -healthy put: ok in 15 ms +healthy put: ok in 24 ms timeout_seconds=5.0 -{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:00.590525Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"} -paused put: ObjectStorageUnavailable in 5008 ms -{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:05.598635Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"} -paused head: ObjectStorageUnavailable in 5007 ms -unpaused put: ok in 9 ms -docker compose stop s3: 15.6 s -{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.444762Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"} +{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:35.180408Z", "func_name": "_failure", "filename": "client.py", "lineno": 377} +paused put: ObjectStorageUnavailable in 5005 ms +{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:40.185455Z", "func_name": "_failure", "filename": "client.py", "lineno": 377} +paused head: ObjectStorageUnavailable in 5004 ms +unpaused put: ok in 8 ms +docker compose stop s3: 15.3 s +{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.677244Z", "func_name": "_failure", "filename": "client.py", "lineno": 377} stopped put: ObjectStorageUnavailable in 8 ms -{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 2, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.447111Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"} -stopped head: ObjectStorageUnavailable in 2 ms -started put: ok in 18 ms -started delete: ok in 7 ms +{"event": "Object storage is unavailable", "instance_id": "", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 1, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.678976Z", "func_name": "_failure", "filename": "client.py", "lineno": 377} +stopped head: ObjectStorageUnavailable in 1 ms +started put: ok in 29 ms +started delete: ok in 6 ms ``` - Сервер заморожен (`docker pause`): вызов обрывается сроком через - 5,007–5,008 с при сроке 5 с, повторов нет. -- Сервер остановлен: отказ соединения за 2–8 мс, это меньше 0,1 с. + 5,004–5,005 с при сроке 5 с, повторов нет. +- Сервер остановлен: отказ соединения за 1–8 мс, это меньше 0,1 с. - После `unpause` и `start` следующий вызов проходит тем же клиентом, - без пересоздания. + без пересоздания. Первая запись после `start` и `up --wait` — 29 мс: + `healthy` ждёт регистрации тома (`restart.md`, раздел 4). ## 3. Неверный секрет — 503 и одна запись `error` ``` $ uv run python probe_client.py wrong-secret -{"event": "Object storage rejected credentials", "instance_id": "", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 13, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T17:16:27.071569Z", "func_name": "_failure", "lineno": 332, "filename": "client.py"} -wrong secret put: ObjectStorageUnavailable in 13 ms +{"event": "Object storage rejected credentials", "instance_id": "", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 10, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T18:33:04.228972Z", "lineno": 354, "filename": "client.py", "func_name": "_failure"} +wrong secret put: ObjectStorageUnavailable in 10 ms ``` `ObjectStorageUnavailable` — наследник `ServiceUnavailable`: таблица @@ -76,17 +79,115 @@ $ uv run python -c "from src.api.errors import DOMAIN_ERRORS; from src.core.exce ('ServiceUnavailable', (503, )) ``` -## 4. Секретов в журнале нет +## 4. Нет bucket, нет прав, неверный секрет, нет ключа -Значения пяти секретов S3 из `.env` (административные ключ и секрет, ключ -подписи, ключ и секрет API) проверены `grep -F` по выводу трёх прогонов: +Находка verify S1: прежний клиент считал любой 404 отсутствующим +объектом, поэтому удалённый bucket выглядел как «объекта нет», а `delete` +вопреки docstring бросал исключение. `AccessDenied` журналировался как +«rejected credentials», а HEAD с 403 без тела не переводился (500). + +Удалённый bucket проверен на временном стенде: проект compose +`mtusi-lab4-s3fresh` с S3 на tmpfs (без volumes) и портом `127.0.0.1:18334`, +тот же `docker-compose.yml` и `.env`. Bootstrap создал bucket и +пользователя, затем bucket удалён административной командой мимо +bootstrap. После проверки стенд удалён (`down`). ``` -secret/key values found in client logs: 0 +s3-bootstrap: bucket messenger created +s3-bootstrap: user api created +s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied) +$ printf "s3.bucket.delete -name messenger\n" | weed shell (временный стенд) +$ printf "s3.bucket.list\n" | weed shell +(пусто) ``` -В apply тем же способом проверен журнал `make run_dev`, к пяти значениям -добавлены пароли PostgreSQL и Valkey: 0 совпадений. Запись старта: +Каждая запись журнала ниже сокращена до уровня, `event`, операции и +`error_code`; полная запись — как в разделе 3. Пример: + +``` +{"event": "Object storage bucket is missing", "instance_id": "", "module": "object_storage", "error_code": "NoSuchBucket", "operation": "get_object", "endpoint": "127.0.0.1:18334", "bucket": "messenger", "key": "messenger/verify/s1-missing", "duration_ms": 3, "error_type": "NoSuchBucket", "level": "error", "timestamp": "2026-10-20T18:33:25.550350Z", "filename": "client.py", "func_name": "_failure", "lineno": 345} +``` + +``` +$ s1_check.py "deleted bucket" # временный стенд, порт 18334 +deleted bucket: head -> None + log: error 'Object storage bucket is missing' operation=get_object error_code=NoSuchBucket +deleted bucket: open -> ObjectStorageUnavailable + log: error 'Object storage bucket is missing' operation=delete_object error_code=NoSuchBucket +deleted bucket: delete -> ObjectStorageUnavailable + log: error 'Object storage denied access' operation=put_object error_code=AccessDenied +deleted bucket: put -> ObjectStorageUnavailable +$ s1_check.py "missing key" # рабочий стенд +missing key: head -> None +missing key: open -> StoredObjectMissing +missing key: delete -> None +missing key: put -> None +$ S3__BUCKET=nonexistent-bkt s1_check.py "bucket without rights" # рабочий стенд + log: error 'Object storage denied access' operation=head_object error_code=403 +bucket without rights: head -> ObjectStorageUnavailable + log: error 'Object storage denied access' operation=get_object error_code=AccessDenied +bucket without rights: open -> ObjectStorageUnavailable + log: error 'Object storage denied access' operation=delete_object error_code=AccessDenied +bucket without rights: delete -> ObjectStorageUnavailable + log: error 'Object storage denied access' operation=put_object error_code=AccessDenied +bucket without rights: put -> ObjectStorageUnavailable +$ S3__SECRET_ACCESS_KEY=wrong s1_check.py "wrong secret" # рабочий стенд + log: error 'Object storage denied access' operation=head_object error_code=403 +wrong secret: head -> ObjectStorageUnavailable + log: error 'Object storage rejected credentials' operation=get_object error_code=SignatureDoesNotMatch +wrong secret: open -> ObjectStorageUnavailable + log: error 'Object storage rejected credentials' operation=delete_object error_code=SignatureDoesNotMatch +wrong secret: delete -> ObjectStorageUnavailable + log: error 'Object storage rejected credentials' operation=put_object error_code=SignatureDoesNotMatch +wrong secret: put -> ObjectStorageUnavailable +``` + +- Удалённый bucket: `open`, `delete` и `put` — `ObjectStorageUnavailable` + (503) с записью `error`. За отсутствующий объект он не выдаётся. PUT в + удалённый bucket SeaweedFS отклоняет `AccessDenied`, GET и DELETE — + `NoSuchBucket`. +- Отсутствующий ключ в своём bucket: `head` → `None`, `open` → + `StoredObjectMissing`, `delete` — не ошибка, `put` проходит (объект + затем удалён). +- Bucket без прав ключа API: все четыре вызова — 503 и «denied access». + `head` больше не даёт 500. +- Неверный секрет: «rejected credentials» у GET, PUT, DELETE. + +**Ограничение HEAD (принято, `PLAN.md`, `s3-storage`, «Вопросы», п. 4).** +У ответа HEAD нет тела, поэтому нет и кода ошибки S3. SeaweedFS отвечает +одинаковым 404 и на отсутствующий ключ, и на удалённый bucket: + +``` +deleted bucket: head_object {'Code': '404', 'Message': 'Not Found'} 404 +missing key: head_object {'Code': '404', 'Message': 'Not Found'} 404 +deleted bucket: get_object {'Code': 'NoSuchBucket', ...} 404 +missing key: get_object {'Code': 'NoSuchKey', ...} 404 +``` + +(`head_headers.py`, scratchpad, 18:10 UTC: ответы сервера через botocore +напрямую, без перевода ошибок клиентом; вывод сокращён до кода и +статуса, заголовки ответов различаются только `content-length`.) Поэтому +`head` удалённого bucket отдаёт `None`, а неверный секрет у HEAD +журналируется как «denied access» (403 без кода). Лишний GET `Range: +bytes=0-0` на каждый промах, чтобы различить случаи, не делается. +Удалённый bucket видят `put`, `open` и `delete` (503), а также bootstrap +и `make s3_check`. Промах `head` не должен быть основанием для +разрушающего решения без проверки, что bucket на месте. Это учитывают +`upload-consistency` и reconciler трека 2. + +## 5. Секретов в журнале нет + +Значения пяти секретов S3 и паролей PostgreSQL и Valkey стенда (из +`docker compose config`, значения не печатаются) проверены `grep -F` по +выводу всех прогонов разделов 1–4: + +``` +ev8-client-raw.log bytes 2883 hits 0 +ev8-s1-raw.log bytes 5834 hits 0 +``` + +Запись старта API (apply, `make run_dev`, тот же клиент) — с адресом и +bucket, без ключей: ``` {"event": "Started API", "instance_id": "", "module": "startup", "host": "127.0.0.1", "port": 8080, "run_mode": "", "database_host": "127.0.0.1", "database_port": 5433, "database_name": "messenger", "cache_host": "127.0.0.1", "cache_port": 6380, "s3_host": "127.0.0.1", "s3_port": 8334, "s3_bucket": "messenger", "level": "info", ...} diff --git a/evidence/s3/privacy.md b/evidence/s3/privacy.md index ab8a9691..572e5748 100644 --- a/evidence/s3/privacy.md +++ b/evidence/s3/privacy.md @@ -1,113 +1,134 @@ # Приватность bucket и изоляция S3 вне API -- Дата: 2026-10-20, 17:15–17:16 UTC. -- Commit: `2e997f9` (рабочее дерево — только `PLAN.md` вне кода). -- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop 29.8.2, - compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3 Pro. S3 — - `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`. +- Дата: 2026-10-20, 18:34–18:35 UTC. +- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода). +- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker + Desktop 29.8.2, compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3 + Pro. S3 — `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`. - Спек `object-storage`: «Проверка приватности вне API», «Запрет анонимного доступа», «Ограниченные учётные данные API», «Служебные интерфейсы вне сети»; спек `container-run`: «Публикация только на localhost», «Секреты по сервисам». Design change `s3-storage`, - решения 1, 3, 8. + решения 1, 3, 8 и «Уточнения apply», п. 13. ## 1. `make s3_check` -Без приложения: bootstrap в режиме `check` (строки `server`), анонимные -запросы с хоста на `127.0.0.1:8334` (`host`) и из одноразового -контейнера в сети `mtusi-lab4_default` (`network`), порты контейнера S3 -из сети, затем режим `cleanup` и `weed shell` — остатков нет. +Без приложения выполняются: +- bootstrap в режиме `check` (строки `server`); +- анонимные запросы с хоста на `127.0.0.1:8334` (`host`) и из + одноразового контейнера в сети `mtusi-lab4_default` (`network`); +- слушающие сокеты контейнера S3 (`netstat -tuln` в нём) и их проверка из + сети; +- в конце режим `cleanup` и `weed shell`: остатков нет. + +С `f57635a` порты не перечислены заранее (находка verify S4). Порты вне +loopback должны совпасть ровно с API S3 и gRPC шлюза. Каждый порт, +который слушают только на loopback, проверяется из сети `nc -z` как +закрытый. ``` $ make s3_check python3 .claude/skills/run-mtusi-messenger/driver.py s3-check S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48 -where check expected got verdict -server anonymous access setting none none ok -server api key put object 200 200 ok -server api key get object 200 200 ok -server api key head object 200 200 ok -server api key get missing object 404 404 ok -server api key list objects 403 403 ok -server api key create bucket 403 403 ok -server api key delete bucket 403 403 ok -server api key get bucket policy 403 403 ok -server api key put bucket policy 403 403 ok -server api key get bucket acl 403 403 ok -server api key put bucket acl public-read 403 403 ok -server api key put object acl public-read 403 403 ok -server api key put object to other bucket 403 403 ok -server api key get object from other bucket 403 403 ok -server api key list other bucket 403 403 ok -server api key delete other bucket 403 403 ok -server anonymous get object 403 403 ok -server anonymous head object 403 403 ok -server anonymous get missing object 403 403 ok -server anonymous list objects 403 403 ok -server anonymous list buckets 403 403 ok -server anonymous put object 403 403 ok -server anonymous create bucket 403 403 ok -host anonymous get object 403 403 ok -host anonymous head object 403 403 ok -host anonymous get missing object 403 403 ok -host anonymous list objects 403 403 ok -host anonymous list buckets 403 403 ok -host anonymous put object 403 403 ok -network anonymous get object 403 403 ok -network anonymous head object 403 403 ok -network anonymous get missing object 403 403 ok -network anonymous list objects 403 403 ok -network anonymous list buckets 403 403 ok -network anonymous put object 403 403 ok -network port 8333 (S3 API / gRPC of gateway) open open ok -network port 18333 (S3 API / gRPC of gateway) open open ok -network port 9333 closed closed ok -network port 19333 closed closed ok -network port 8888 closed closed ok -network port 18888 closed closed ok -network port 8080 closed closed ok -network port 18080 closed closed ok -network port 23646 closed closed ok -network port 8181 closed closed ok -network port 9101 closed closed ok -network port 7333 closed closed ok -network port 8111 closed closed ok -network port 6060 closed closed ok -server temporary buckets left 0 0 ok -server probe objects left 0 0 ok -PASS: 52 checks, bucket messenger is private +where check expected got verdict +server anonymous access setting none none ok +server api key put object 200 200 ok +server api key get object 200 200 ok +server api key head object 200 200 ok +server api key get missing object 404 404 ok +server api key list objects 403 403 ok +server api key create bucket 403 403 ok +server api key delete bucket 403 403 ok +server api key get bucket policy 403 403 ok +server api key put bucket policy 403 403 ok +server api key get bucket acl 403 403 ok +server api key put bucket acl public-read 403 403 ok +server api key put object acl public-read 403 403 ok +server api key put object to other bucket 403 403 ok +server api key get object from other bucket 403 403 ok +server api key list other bucket 403 403 ok +server api key delete other bucket 403 403 ok +server anonymous get object 403 403 ok +server anonymous head object 403 403 ok +server anonymous get missing object 403 403 ok +server anonymous list objects 403 403 ok +server anonymous list buckets 403 403 ok +server anonymous put object 403 403 ok +server anonymous create bucket 403 403 ok +host anonymous get object 403 403 ok +host anonymous head object 403 403 ok +host anonymous get missing object 403 403 ok +host anonymous list objects 403 403 ok +host anonymous list buckets 403 403 ok +host anonymous put object 403 403 ok +server listening outside loopback 8333 18333 8333 18333 ok +network anonymous get object 403 403 ok +network anonymous head object 403 403 ok +network anonymous get missing object 403 403 ok +network anonymous list objects 403 403 ok +network anonymous list buckets 403 403 ok +network anonymous put object 403 403 ok +network port 8333 (S3 API / gRPC of gateway) open open ok +network port 18333 (S3 API / gRPC of gateway) open open ok +network port 8080 (loopback only) closed closed ok +network port 8888 (loopback only) closed closed ok +network port 9333 (loopback only) closed closed ok +network port 18080 (loopback only) closed closed ok +network port 18888 (loopback only) closed closed ok +network port 19333 (loopback only) closed closed ok +network port 44119 (loopback only) closed closed ok +server temporary buckets left 0 0 ok +server probe objects left 0 0 ok +PASS: 48 checks, bucket messenger is private exit=0 ``` +Слушающие сокеты контейнера S3 в тот же момент: + +``` +$ docker compose exec -T s3 netstat -tln +tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.1:18888 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.1:19333 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.1:9333 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.1:18080 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.11:44119 0.0.0.0:* LISTEN +tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN +tcp 0 0 :::8333 :::* LISTEN +tcp 0 0 :::18333 :::* LISTEN +``` + Наблюдения: - аноним получает 403 на существующий и на отсутствующий ключ: наличие объекта не раскрывается; - ключ API читает, пишет и удаляет только объекты своего bucket (отсутствующий ключ — 404). Список, операции с bucket, политика, ACL, публичный ACL объекта и чужой bucket — 403; -- закрыты порты master (9333/19333), filer (8888/18888), volume - (8080/18080), admin UI (23646), Iceberg (8181), Lance (9101), а также - 7333, 8111 и pprof (6060). Открыты только API S3 и gRPC шлюза. gRPC - шлюза закрыт ключом подписи — `grpc-admin.md`. +- вне loopback сервер слушает только 8333 (API S3) и 18333 (gRPC шлюза). + Master (9333/19333), filer (8888/18888) и volume (8080/18080) — только на + `127.0.0.1`, из сети закрыты. `127.0.0.11:<порт>` — встроенный DNS + Docker, порт меняется от контейнера к контейнеру. Admin UI, Iceberg и + Lance не слушают вовсе. gRPC шлюза закрыт ключом подписи — + `grpc-admin.md`. ## 2. Нарушение обнаруживается, bootstrap его исправляет -Анонимное чтение открыто административной командой мимо bootstrap: +### Анонимное чтение открыто мимо bootstrap ``` $ printf "s3.anonymous.set -bucket messenger -access Read\n" | docker compose exec -T s3 weed shell Set anonymous access on bucket "messenger" to: Read $ make s3_check (only FAIL lines) -server anonymous access setting none Read FAIL -server anonymous get object 403 200 FAIL -server anonymous head object 403 200 FAIL -server anonymous get missing object 403 404 FAIL -host anonymous get object 403 200 FAIL -host anonymous head object 403 200 FAIL -host anonymous get missing object 403 404 FAIL -network anonymous get object 403 200 FAIL -network anonymous head object 403 200 FAIL -network anonymous get missing object 403 404 FAIL +server anonymous access setting none Read FAIL +server anonymous get object 403 200 FAIL +server anonymous head object 403 200 FAIL +server anonymous get missing object 403 404 FAIL +host anonymous get object 403 200 FAIL +host anonymous head object 403 200 FAIL +host anonymous get missing object 403 404 FAIL +network anonymous get object 403 200 FAIL +network anonymous head object 403 200 FAIL +network anonymous get missing object 403 404 FAIL FAIL: 10 check(s) failed: server: anonymous access setting; server: anonymous get object; server: anonymous head object; server: anonymous get missing object; host: anonymous get object; host: anonymous head object; host: anonymous get missing object; network: anonymous get object; network: anonymous head object; network: anonymous get missing object exit=2 $ docker compose up -d s3-bootstrap; docker compose logs s3-bootstrap (last run) @@ -116,26 +137,46 @@ s3-bootstrap: anonymous access to messenger closed s3-bootstrap: user api exists s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied) $ make s3_check | tail -1 -PASS: 52 checks, bucket messenger is private -exit=0 +PASS: 48 checks, bucket messenger is private ``` `exit=2` — это код `make`: драйвер вернул 1, и make на ошибке рецепта отвечает 2. +### Служебные серверы слушают все интерфейсы + +Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без +volumes), порт `127.0.0.1:18334`. У `s3` override команды с +`-ip.bind=0.0.0.0` вместо `127.0.0.1`. Bootstrap прошёл, затем драйвер +запущен против этого проекта (`COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`). +После проверки стенд удалён (`down`). + +``` +$ driver.py s3-check (временный стенд, -ip.bind=0.0.0.0) +S3 s3:8333 (host 127.0.0.1:18334), bucket messenger, image chrislusf/seaweedfs:4.48 +where check expected got verdict +server listening outside loopback 8333 18333 8080 8333 8888 9333 18080 18333 18888 19333 FAIL +FAIL: 1 check(s) failed: server: listening outside loopback +exit=1 +``` + +Остальные 41 проверка — `ok`. Нарушение названо списком портов, а не +найдено по заранее известному списку: новый порт нового выпуска +SeaweedFS проверка тоже увидит. + ## 3. Публикация портов ``` $ docker compose ps -a SERVICE STATUS PORTS -api Up 5 minutes (healthy) 8080/tcp -api Up 5 minutes (healthy) 8080/tcp -haproxy Up 5 minutes (healthy) 127.0.0.1:8080->8080/tcp -migrate Exited (0) 13 seconds ago -postgres Up 5 minutes (healthy) 127.0.0.1:5433->5432/tcp -s3 Up 5 minutes (healthy) 127.0.0.1:8334->8333/tcp -s3-bootstrap Exited (0) 14 seconds ago -valkey Up 5 minutes (healthy) 127.0.0.1:6380->6379/tcp +api Up 9 minutes (healthy) 8080/tcp +api Up 9 minutes (healthy) 8080/tcp +haproxy Up 9 minutes (healthy) 127.0.0.1:8080->8080/tcp +migrate Exited (0) 9 minutes ago +postgres Up 9 minutes (healthy) 127.0.0.1:5433->5432/tcp +s3 Up 2 minutes (healthy) 127.0.0.1:8334->8333/tcp +s3-bootstrap Exited (0) 52 seconds ago +valkey Up 9 minutes (healthy) 127.0.0.1:6380->6379/tcp $ docker port (each container) mtusi-lab4-api-1: @@ -153,10 +194,14 @@ mtusi-lab4-valkey-1: 6379/tcp -> 127.0.0.1:6380 ## 4. Секреты по сервисам -Значения секретов из `.env` сопоставлены с окружением каждого сервиса в -`docker compose config` (разовый скрипт). Печатаются только имена: +Разовый скрипт `secrets_by_config.py` (scratchpad). `.env` он не читает: +значение каждого секрета берёт у сервиса-носителя в `docker compose +config` (например, `S3_ROOT_ACCESS_KEY` — `AWS_ACCESS_KEY_ID` сервиса +`s3`) и ищет его в окружении всех сервисов. Все семь значений разные. +Печатаются только имена: ``` +$ docker compose config --format json | secrets_by_config.py api: POSTGRES_PASSWORD as DATABASE__PASSWORD, VALKEY_PASSWORD as CACHE__PASSWORD, S3_API_ACCESS_KEY as S3__ACCESS_KEY_ID, S3_API_SECRET_KEY as S3__SECRET_ACCESS_KEY haproxy: - migrate: POSTGRES_PASSWORD as DATABASE__PASSWORD @@ -175,11 +220,13 @@ valkey: VALKEY_PASSWORD as VALKEYCLI_AUTH, VALKEY_PASSWORD as VALKEY_PASSWORD ``` $ docker compose exec -T s3 sh -c 'netstat -tn | awk "NR>2 {print \$5}" | sed "s/:[0-9]*$//" | sort | uniq -c' - 223 127.0.0.1 - 13 ::ffff:127.0.0.1 - 18 ::ffff:192.168.0.1 + 169 127.0.0.1 + 12 ::ffff:127.0.0.1 + 12 ::ffff:192.168.0.1 +$ docker network inspect mtusi-lab4_default --format '{{range .IPAM.Config}}{{.Subnet}} {{.Gateway}}{{end}}' +192.168.0.0/20 192.168.0.1 ``` -Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз -(через него приходят запросы с опубликованного порта хоста). Других +Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз: +через него приходят запросы с опубликованного порта хоста. Других адресов нет. В описании сервиса — `-master.telemetry=false`. diff --git a/evidence/s3/restart.md b/evidence/s3/restart.md index 8c666b78..f41bbf67 100644 --- a/evidence/s3/restart.md +++ b/evidence/s3/restart.md @@ -1,18 +1,19 @@ -# Рестарт стенда с S3 и SIGKILL сервера S3 +# Рестарт стенда с S3, первая запись после healthy и SIGKILL сервера S3 -- Дата: 2026-10-20, 17:17–17:18 UTC. -- Commit: `2e997f9`. -- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop - 29.8.2, compose 5.5.1, Apple M3 Pro. +- Дата: 2026-10-20, 18:25–18:32 UTC. +- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода). +- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker + Desktop 29.8.2, compose 5.5.1, Apple M3 Pro. - Спек `container-run`: «Рестарт hook-ом»; `object-storage`: «Рестарт - стенда», «Принудительное завершение». Design change `s3-storage`, - решение 9. + стенда», «Принудительное завершение», «Первая запись после healthy», + «Остановка сервера». Design change `s3-storage`, решения 1, 9 и + «Уточнения apply», п. 8. - Публичный `make test-persistence` до change `attachments` красный: он загружает вложение до вызова hook (design, Context). Поэтому hook проверен напрямую. - Объекты пишет и читает клиент приложения `src/infra/s3` в консоли - (`persist_probe.py`, scratchpad) ключом API. Размеры объектов — - 200 000 + i × 50 000 байт. + (`persist_probe.py`, `first_write.py`, scratchpad) ключом API. Размеры + объектов `persist_probe.py` — 200 000 + i × 50 000 байт. ## 1. `scripts/restart.sh` @@ -20,54 +21,57 @@ $ persist_probe.py write 3 written and confirmed: 3 objects --- before -mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:09:56.87103075Z running -mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:09:56.957602042Z running -mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:09:57.069310542Z running -mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:14:53.472596304Z exited -mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:09:49.559951594Z running -mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:16:21.637346137Z running -mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:15:30.66585646Z exited -mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:09:49.272486844Z running +mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:24:50.487701511Z running +mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:24:50.566243511Z running +mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:39:52.595685345Z running +mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:24:48.331502718Z exited +mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:39:29.787738376Z running +mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:09:29.991872709Z running +mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:24:48.250103551Z exited +mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:39:29.760681585Z running $ time scripts/restart.sh -exit=0, 25 s +exit=0, 24 s --- after -mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:17:47.007431801Z running -mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:17:47.076103343Z running -mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:17:47.188104885Z running -mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:17:44.385383967Z exited -mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:17:24.183151596Z running -mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:17:39.223372464Z running -mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:17:44.2638513Z exited -mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:17:24.158704555Z running -$ docker compose logs --since 60s --no-log-prefix s3-bootstrap +mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:25:44.219750924Z running +mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:25:44.306628049Z running +mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T18:25:44.411630841Z running +mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:25:41.455557798Z exited +mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T18:25:21.474698136Z running +mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:25:36.474543254Z running +mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:25:41.611018257Z exited +mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T18:25:21.447281886Z running +$ docker compose logs --no-log-prefix s3-bootstrap (запуск после рестарта) s3-bootstrap: bucket messenger exists s3-bootstrap: user api exists s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied) -health/ready via LB: {"status":"ok"} $ persist_probe.py verify read back with the same SHA-256: 3/3; deleted +hook output lines with secret|password|key=: 0 ``` - Перезапущены LB, обе реплики, PostgreSQL, Valkey и S3: ID контейнеров прежние, `StartedAt` у всех новый. `migrate` и `s3-bootstrap` снова выполнены как зависимости `start api`. -- Hook занял 25 с при сроке 90 с, из них ~15 с — плавная остановка +- Hook занял 24 с при сроке 90 с, из них ~15 с — плавная остановка SeaweedFS (`stop_grace_period: 20s`). - Bootstrap после рестарта ничего не изменил («exists»), объекты прочитаны с тем же SHA-256. -- В выводе hook нет ни `secret`, ни `password`, ни `key=`: grep по нему - дал 0 строк. +- Сразу после возврата hook LB ответил 503 «No API replica is available»: + реплики ещё стартовали. Готовность hook не ждёт, её ждёт сам тест + (`docker.md`, `scripts/restart.sh`). Через полминуты `GET /health/ready` + через LB — `{"status":"ok"}`, все сервисы `healthy`. +- В выводе hook нет ни `secret`, ни `password`, ни `key=`. ## 2. Плавная остановка S3 -Из пробы клиента (`client.md`, 17:16): - ``` -docker compose stop s3: 15.6 s +docker compose stop s3: 15.3 s +ExitCode 0, OOMKilled false +up --wait s3: healthy ``` -Тот же стенд в apply (2026-10-20): `docker compose stop s3` — 15 с, -`ExitCode 0`, `OOMKilled false`. SIGKILL по сроку не понадобился. +Сервер завершился сам за 15,3 с при `stop_grace_period: 20s`, код 0: +SIGKILL по сроку не понадобился. ## 3. SIGKILL сразу после подтверждённых записей @@ -76,10 +80,81 @@ $ persist_probe.py write 20 && docker kill -s KILL mtusi-lab4-s3-1 written and confirmed: 20 objects after kill: status exited, exit 137 $ docker compose up -d --wait s3 -healthy in 3 s +healthy in 5 s $ persist_probe.py verify read back with the same SHA-256: 20/20; deleted ``` Все 20 подтверждённых объектов пережили SIGKILL процесса. Отказ диска или ВМ этим не покрыт: одна нода без реплик (`REPORT.md`, «Ограничения»). + +## 4. Первая запись после `healthy` + +Находка verify W1: healthcheck проверял master, filer и шлюз, но не +регистрацию тома у master. Тогда `healthy` иногда наступал раньше, чем +том мог принять запись, и первая запись ждала его до 4,8 с при сроке +вызова клиента 5 с. С `f57635a` healthcheck ещё и ждёт непустой +`DataNodes` в `/dir/status` master. + +### Шкала старта + +`ev8_timeline.sh` (scratchpad): `docker compose stop s3` + `start`, затем +раз в ~0,6 с — прежняя проверка (master, filer, шлюз), регистрация тома и +статус healthcheck Docker. + +``` +0.0 s: master+filer+gateway=no data_node=no docker=starting +0.6 s: master+filer+gateway=no data_node=no docker=starting +1.1 s: master+filer+gateway=no data_node=no docker=starting +1.7 s: master+filer+gateway=no data_node=yes docker=starting +2.3 s: master+filer+gateway=no data_node=yes docker=starting +2.9 s: master+filer+gateway=no data_node=yes docker=starting +3.5 s: master+filer+gateway=yes data_node=yes docker=starting +4.2 s: master+filer+gateway=yes data_node=yes docker=healthy +summary: old check passes at 3.5s, data node registered at 1.7s, docker healthy at 4.2s +summary: old check passes at 3.4s, data node registered at 6.9s, docker healthy at 7.5s +summary: old check passes at 3.4s, data node registered at 1.7s, docker healthy at 4.1s +``` + +Во втором из трёх стартов том зарегистрировался через 6,9 с, на 3,5 с +позже прежней проверки: прежний `healthy` пришёлся бы на это окно. +Теперь `healthy` ждёт регистрацию. + +### Время первой записи + +`first_write.py` (scratchpad): запись, затем рестарт `s3` (`docker compose +restart s3`, 12 раз) или `docker kill -s KILL` (6 раз) и `docker compose +up -d --wait s3`, сразу первая и вторая запись. Срок вызова на время +пробы — 30 с (`S3__TIMEOUT_SECONDS=30`), чтобы видеть ожидание, а не +таймаут. + +``` +restart #1: healthy after 20.2s, first put 24 ms, second 6 ms +restart #2: healthy after 18.6s, first put 17 ms, second 4 ms +restart #3: healthy after 18.5s, first put 12 ms, second 11 ms +restart #4: healthy after 23.0s, first put 21 ms, second 5 ms +restart #5: healthy after 19.2s, first put 23 ms, second 6 ms +restart #6: healthy after 23.2s, first put 15 ms, second 3 ms +restart #7: healthy after 20.1s, first put 15 ms, second 3 ms +restart #8: healthy after 19.6s, first put 13 ms, second 4 ms +restart #9: healthy after 23.2s, first put 27 ms, second 6 ms +restart #10: healthy after 19.7s, first put 13 ms, second 3 ms +restart #11: healthy after 23.3s, first put 20 ms, second 3 ms +restart #12: healthy after 20.1s, first put 23 ms, second 6 ms +kill #1: healthy after 7.9s, first put 23 ms, second 6 ms +kill #2: healthy after 3.9s, first put 21 ms, second 7 ms +kill #3: healthy after 3.9s, first put 11 ms, second 5 ms +kill #4: healthy after 3.9s, first put 16 ms, second 4 ms +kill #5: healthy after 3.9s, first put 11 ms, second 4 ms +kill #6: healthy after 3.9s, first put 17 ms, second 7 ms +``` + +- Первая запись после `healthy` — 11–27 мс во всех 18 случаях, при сроке + вызова 5 с. +- `healthy after` при рестарте включает плавную остановку (~15 с). +- До правки тот же скрипт на прежнем healthcheck (2026-10-20, ~18:00 + UTC, код `7d340c0`): 8 рестартов, первая запись в двух — 4771 и 2523 мс, + в остальных 9–16 мс. Verify: в 3 из 12 — 4775–4784 мс. + +Секретов в выводах нет: `grep -F` значений секретов стенда по выводам +hook, `persist_probe.py` и `first_write.py` — 0 совпадений. diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index 7c0888c9..d15269e8 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,13 +1,15 @@ # `make failure_checks` со своим S3 -- Дата: 2026-10-20, 17:21:58–17:23:29 UTC. -- Commit: `2e997f9`. +- Дата: 2026-10-20, 18:35:12–18:37:20 UTC. +- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода). - Стенд отказов: проект `mtusi-lab4-failures` (Postgres, Valkey, S3 с bootstrap, без портов хранилищ), два API на `127.0.0.1`. Рабочий стенд `mtusi-lab4` в это время запущен. Docker Desktop 29.8.2, Apple M3 Pro. - Новая проверка change `s3-storage` — - `test_readiness_without_object_storage`: спек `health`, «Хранилище - объектов недоступно». + `test_readiness_without_object_storage[stop|pause]`: спек `health`, + «Хранилище объектов недоступно». Вариант `pause` добавлен по находке + verify S3. Проба hook после `unpause` и `start` — та же команда, что + healthcheck `s3`, с регистрацией тома (находка W1). ## Итог: код 2, пять красных — ожидаемо до change `attachments` @@ -23,7 +25,7 @@ отправку сообщения. Чинит change `attachments` (ответ пользователя 2026-10-20, `PLAN.md`, `s3-storage`, «Вопросы», п. 2), там этот файл переснимается зелёным. S3 и стенд отказов здесь ни при чём: остальные -13 проверок, включая новую, прошли. +14 проверок, включая оба варианта новой, прошли. ## Вывод (строки оркестратора и pytest) @@ -38,28 +40,29 @@ s3-bootstrap-1 | s3-bootstrap: bucket messenger created s3-bootstrap-1 | s3-bootstrap: user api created s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied) [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:59374 tight=http://127.0.0.1:59382 +[failure_checks] ready: api=http://127.0.0.1:54756 tight=http://127.0.0.1:54761 [failure_checks] pytest -m fault student-tests/test_failures.py::test_expired_token PASSED [ 5%] -student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 11%] -student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 16%] -student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 22%] -student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 27%] -student-tests/test_failures.py::test_pool_exhausted PASSED [ 33%] -student-tests/test_failures.py::test_connection_limit_reached PASSED [ 38%] -student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 44%] -student-tests/test_failures.py::test_readiness_without_database PASSED [ 50%] -student-tests/test_failures.py::test_readiness_without_cache PASSED [ 55%] -student-tests/test_failures.py::test_readiness_without_object_storage PASSED [ 61%] -student-tests/test_failures.py::test_flush_cache PASSED [ 66%] -student-tests/test_failures.py::test_valkey_stopped FAILED [ 72%] -student-tests/test_failures.py::test_valkey_paused PASSED [ 77%] -student-tests/test_failures.py::test_valkey_back PASSED [ 83%] -student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 88%] +student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 10%] +student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 15%] +student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 21%] +student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 26%] +student-tests/test_failures.py::test_pool_exhausted PASSED [ 31%] +student-tests/test_failures.py::test_connection_limit_reached PASSED [ 36%] +student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 42%] +student-tests/test_failures.py::test_readiness_without_database PASSED [ 47%] +student-tests/test_failures.py::test_readiness_without_cache PASSED [ 52%] +student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 57%] +student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 63%] +student-tests/test_failures.py::test_flush_cache PASSED [ 68%] +student-tests/test_failures.py::test_valkey_stopped FAILED [ 73%] +student-tests/test_failures.py::test_valkey_paused PASSED [ 78%] +student-tests/test_failures.py::test_valkey_back PASSED [ 84%] +student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 89%] student-tests/test_failures.py::test_database_outage_keeps_key_free FAILED [ 94%] student-tests/test_failures.py::test_key_free_after_ttl FAILED [100%] -=========== 5 failed, 13 passed, 142 deselected in 69.48s (0:01:09) ============ -[failure_checks] postgres log: 380 lines, crash markers 0; "too many clients" 25, "administrator command" 129 +=========== 5 failed, 14 passed, 142 deselected in 69.63s (0:01:09) ============ +[failure_checks] postgres log: 381 lines, crash markers 0; "too many clients" 26, "administrator command" 129 [failure_checks] last 50 lines of mtusi-lab4-failures-api [failure_checks] last 50 lines of mtusi-lab4-failures-api-tight [failure_checks] cleanup @@ -69,6 +72,19 @@ exit=2 Журналы API стенда отказов, которые печатает оркестратор, здесь опущены. +## Только проверки S3 + +``` +$ make failure_checks FAULT_ARGS='-k object_storage' +s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied) +student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 50%] +student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [100%] +====================== 2 passed, 159 deselected in 7.71s ======================= +[failure_checks] postgres log: 57 lines, crash markers 0; "too many clients" 0, "administrator command" 0 +[failure_checks] results: {'fault': 0, 'postgres': 0} +exit=0 +``` + ## Уборка и рабочий стенд ``` @@ -82,9 +98,10 @@ left: containers 0, volumes 0 ## Новая проверка -`test_readiness_without_object_storage`: hook останавливает `s3` стенда -отказов (`stop_grace_period: 2s`). `GET /health/ready` и `GET -/health/live` отвечают 200 `{"status": "ok"}` быстрее 1 с, после этого -`s3` запускается снова. Отдельный прогон `make failure_checks -FAULT_ARGS='-k object_storage'` в apply: `1 passed`, код 0, стенд отказов -убран, у рабочего стенда прежний `StartedAt`. +`test_readiness_without_object_storage[stop|pause]`: hook останавливает +(`stop_grace_period: 2s`) или замораживает (`docker pause`) `s3` стенда +отказов. `GET /health/ready` и `GET /health/live` отвечают 200 +`{"status": "ok"}` быстрее 1 с, затем `s3` возвращается (`start` или +`unpause` с пробой healthcheck). При `pause` соединение с S3 есть, а +ответа нет: проверка, которая всё же ходила бы в S3, ждала бы срока +вызова (5 с), а не отказа соединения. diff --git a/evidence/tests/test-isolated-s3-cleanup.md b/evidence/tests/test-isolated-s3-cleanup.md index a7152584..06eb9f39 100644 --- a/evidence/tests/test-isolated-s3-cleanup.md +++ b/evidence/tests/test-isolated-s3-cleanup.md @@ -1,12 +1,13 @@ # `make test_isolated`: уборка объектов S3 временной базы -- Дата: 2026-10-20, 17:23:36–17:25:14 UTC. -- Commit: `2e997f9`. -- Стенд: рабочий `mtusi-lab4` (`make run_docker`). Временная база - `test_messenger`, S3 и Valkey стенда общие. +- Дата: 2026-10-20, 18:39:04–18:42:42 UTC. +- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода). +- Стенд: рабочий `mtusi-lab4` (`make run_docker` с этого commit). + Временная база `test_messenger`, S3 и Valkey стенда общие. Раздел 3 — + временный стенд (ниже). - Спек `student-tests`: «Прогон на временной базе» (уборка префикса `test_/`, «Хвост прошлого прогона», «Сохранить базу для разбора»). - Design change `s3-storage`, решение 9. + Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11. ## Итог прогона: код 2, красное — ожидаемо до change `attachments` @@ -14,29 +15,33 @@ контракта лабы 4 требует поле `attachment_ids`, которого в коде лабы 3 нет. Загрузки вложения тоже ещё нет. - `make student_test EXPECT_REPLICAS=1`: `30 failed, 106 passed, 4 - skipped, 18 deselected, 2 errors`. + skipped, 19 deselected, 2 errors`. - 29 упавших и 2 ошибки фикстуры (`test_tampered_cursor`) — с одной причиной: `Message` / `MessagePage schema: 'attachment_ids' is a required property`. - Ещё одна — `test_exclusion_evidence_exists`: файлы исключений сверки покрытия снимаются заново на стенде лабы 4, после `attachments`. - `test_every_scenario_is_covered` прошёл. + - `19 deselected` вместо прежних 18: проверка отказов + `test_readiness_without_object_storage` стала двумя (`stop`, `pause`), + а тесты `fault` здесь не выполняются. Список совпадает с уточнённым в шапке `tasks.md` change `s3-storage`. Чинит change `attachments` (ответ пользователя 2026-10-20, `PLAN.md`), там прогон переснимается зелёным. -## Уборка префикса +## 1. Уборка префикса -Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`) -записаны объекты `test_messenger/probe` (будто хвост прошлого прогона) и -`messenger/probe` (рабочая база). +Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`, +scratchpad) записаны объекты `test_messenger/probe` (будто хвост прошлого +прогона) и `messenger/probe` (рабочая база). ``` $ prefix_probe.py put test_messenger/probe: present messenger/probe: present $ make test_isolated +exit=2 [test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ container=mtusi-lab4-test-api base_url=http://127.0.0.1:18088 [test_isolated] remove objects /buckets/messenger/test_messenger/ [test_isolated] build image @@ -47,39 +52,81 @@ $ make test_isolated [test_isolated] make test FAIL: response: missing required fields [test_isolated] make student_test -= 30 failed, 106 passed, 4 skipped, 18 deselected, 2 errors in 81.02s (0:01:21) = -[test_isolated] last 50 lines of mtusi-lab4-test-api += 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 68.42s (0:01:08) = [test_isolated] cleanup [test_isolated] remove objects /buckets/messenger/test_messenger/ [test_isolated] results: {'test': 2, 'student_test': 2} -exit=2 $ prefix_probe.py show test_messenger/probe: absent messenger/probe: present ``` -- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Объект - рабочей базы на месте, затем удалён вручную. +- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Обе + уборки проверены `fs.ls` (раздел 3): «cleanup failed» в выводе нет. + Объект рабочей базы на месте, затем удалён вручную. - База `test_messenger` удалена (`pg_database`: 0 строк), тестового контейнера нет. -## `KEEP_TEST_DB=1` (apply, 2026-10-20, тот же код) +## 2. `KEEP_TEST_DB=1` Объект `test_messenger/probe` записан, пока шёл прогон (после строки `ready`): ``` +$ make test_isolated KEEP_TEST_DB=1 (probe put after "ready") +exit=2 [test_isolated] remove objects /buckets/messenger/test_messenger/ +[test_isolated] ready … += 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 69.75s (0:01:09) = +[test_isolated] cleanup [test_isolated] kept database test_messenger and objects /buckets/messenger/test_messenger/ [test_isolated] results: {'test': 2, 'student_test': 2} +$ prefix_probe.py show test_messenger/probe: present messenger/probe: present ``` -Префикс и база остались, команда напечатала оба. Потом их убрали вручную: -`DROP DATABASE` и `weed shell fs.rm -r`. +Префикс и база остались, команда напечатала оба. Затем их убрали +вручную: `DROP DATABASE test_messenger`, `prefix_probe.py delete` и +`weed shell` `fs.rm -r /buckets/messenger/test_messenger`. После этого в +bucket — только префикс `messenger`. Префикс собирается только из имени, прошедшего `^test_[a-z0-9_]+$`, и проверенного имени bucket (`run_isolated.py`, `object_prefix`). Иначе — код 2 до любых действий. + +## 3. Неудачная уборка замечается + +Находка verify S2: `weed shell` выходит с кодом 0 и при ошибке команды, +поэтому прежний `remove_objects` не замечал неудачной уборки. С +`f57635a` он разбирает строки `rm:` (кроме «no entry is found» — +префикса нет) и проверяет пустой `fs.ls` префикса. Иначе — +`RuntimeError`: в начале прогона это код 1 до тестов, в уборке — +«cleanup failed» и код 1. + +Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без +volumes), порт `127.0.0.1:18334`. Bootstrap прошёл, объект `test_x/probe` +записан ключом API. `s2_check.py` (scratchpad) вызывает `remove_objects` +из `run_isolated.py` против этого проекта (`COMPOSE_PROJECT_NAME`, +`COMPOSE_FILE`) в трёх вариантах: +- команда `weed shell` для `fs.rm` направлена на недоступный filer; +- `fs.rm` подменена на путь, которого нет, и ничего не удаляет; +- настоящая уборка. + +После проверки стенд удалён (`down`). + +``` +$ weed shell: fs.rm -r via unavailable filer, then exit code +rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused" +weed shell exit=0 +$ s2_check.py +filer unavailable: RuntimeError: objects /buckets/messenger/test_x/ not removed: rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused" +nothing removed: RuntimeError: objects /buckets/messenger/test_x/ not removed: 1 entries left +real cleanup: removed, fs.ls -> '' +``` + +- Ошибка `fs.rm` при коде 0 `weed shell` теперь — исключение с первой + строкой ошибки. +- Объект, который `fs.rm` не удалил, находит `fs.ls`. +- Настоящая уборка проходит, префикс пуст. diff --git a/openspec/changes/s3-storage/tasks.md b/openspec/changes/s3-storage/tasks.md index ea26419d..22649fce 100644 --- a/openspec/changes/s3-storage/tasks.md +++ b/openspec/changes/s3-storage/tasks.md @@ -325,7 +325,7 @@ compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не созд test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4` работает. Затем показать изменения, предложить сообщение коммита и остановиться: evidence снимается с закоммиченного кода. -- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с +- [x] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с датой, commit и стендом: - `evidence/s3/restart.md` — первая запись после рестарта и `kill` (`first_write.py`);