Files
mtusi2026lab4/evidence/s3/client.md
T
ricoromaandClaude Opus 5.5 1471f07a0e docs: re-capture s3-storage evidence after verify fixes
- evidence/s3 and evidence/tests re-captured from f57635a: first write
  after healthy, deleted bucket, netstat-based port check, readiness
  with s3 paused, prefix cleanup check
- PLAN: HEAD on a deleted bucket is an accepted limitation
- KNOWN_ISSUES: bootstrap after a manual bucket delete

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 21:47:01 +03:00

13 KiB
Raw Blame History

Клиент S3 приложения: операции, отказы, отказ в учётных данных и в доступе

  • Дата: 2026-10-20, 18:32–18:34 UTC.
  • Commit: f57635a (рабочее дерево — только PLAN.md вне кода).
  • Стенд: make run_docker с этого commit, проект mtusi-lab4. Клиент запущен в консоли (uv run python, настройки из .env и config.toml по умолчанию): 127.0.0.1:8334, bucket messenger, [s3] timeout_seconds 5, connect_timeout_seconds 1, без повторов. Раздел 4 — ещё и временный стенд (ниже).
  • Скрипты (scratchpad): probe_client.py вызывает src.infra.s3 (ObjectStorage) и docker compose (pause, stop, start сервиса s3); s1_check.py — head, open, delete, put отсутствующего ключа и записи журнала.
  • Спек object-storage: «Клиент хранилища в приложении» — «S3 остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Bucket нет», «Учётные данные отклонены»; service-logging: «Обращение к S3». Design change s3-storage, решение 7 и «Уточнения apply», п. 10.
  • Hostname машины в поле instance_id заменён на <host>.

1. Операции

$ uv run python probe_client.py ops
put 3 MiB: ok in 95 ms
head: ok in 3 ms
  head: size=3145745 content_type=image/png
  open: size=3145745 content_type=image/png
open+read: ok in 36 ms
  sha256 equal: True
delete: ok in 2 ms
head missing -> None
open missing: StoredObjectMissing in 2 ms
delete missing: ok in 1 ms

Отсутствующий объект отличается от недоступности: head → None, open → StoredObjectMissing, delete → не ошибка.

2. S3 завис, остановлен, вернулся — без перезапуска клиента

$ uv run python probe_client.py outage
healthy put: ok in 24 ms
timeout_seconds=5.0
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:35.180408Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused put: ObjectStorageUnavailable in 5005 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:40.185455Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused head: ObjectStorageUnavailable in 5004 ms
unpaused put: ok in 8 ms
docker compose stop s3: 15.3 s
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.677244Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped put: ObjectStorageUnavailable in 8 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 1, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.678976Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped head: ObjectStorageUnavailable in 1 ms
started put: ok in 29 ms
started delete: ok in 6 ms
  • Сервер заморожен (docker pause): вызов обрывается сроком через 5,004–5,005 с при сроке 5 с, повторов нет.
  • Сервер остановлен: отказ соединения за 1–8 мс, это меньше 0,1 с.
  • После unpause и start следующий вызов проходит тем же клиентом, без пересоздания. Первая запись после start и up --wait — 29 мс: healthy ждёт регистрации тома (restart.md, раздел 4).

3. Неверный секрет — 503 и одна запись error

$ uv run python probe_client.py wrong-secret
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 10, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T18:33:04.228972Z", "lineno": 354, "filename": "client.py", "func_name": "_failure"}
wrong secret put: ObjectStorageUnavailable in 10 ms

ObjectStorageUnavailable — наследник ServiceUnavailable: таблица src/api/errors.py отдаёт на него 503 unavailable.

$ uv run python -c "from src.api.errors import DOMAIN_ERRORS; from src.core.exceptions import ObjectStorageUnavailable as E; print(next((c.__name__, DOMAIN_ERRORS[c]) for c in E.__mro__ if c in DOMAIN_ERRORS))"
('ServiceUnavailable', (503, <ErrorCode.UNAVAILABLE: 'unavailable'>))

4. Нет bucket, нет прав, неверный секрет, нет ключа

Находка verify S1: прежний клиент считал любой 404 отсутствующим объектом, поэтому удалённый bucket выглядел как «объекта нет», а delete вопреки docstring бросал исключение. AccessDenied журналировался как «rejected credentials», а HEAD с 403 без тела не переводился (500).

Удалённый bucket проверен на временном стенде: проект compose mtusi-lab4-s3fresh с S3 на tmpfs (без volumes) и портом 127.0.0.1:18334, тот же docker-compose.yml и .env. Bootstrap создал bucket и пользователя, затем bucket удалён административной командой мимо bootstrap. После проверки стенд удалён (down).

s3-bootstrap: bucket messenger created
s3-bootstrap: user api created
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
$ printf "s3.bucket.delete -name messenger\n" | weed shell   (временный стенд)
$ printf "s3.bucket.list\n" | weed shell
(пусто)

Каждая запись журнала ниже сокращена до уровня, event, операции и error_code; полная запись — как в разделе 3. Пример:

{"event": "Object storage bucket is missing", "instance_id": "<host>", "module": "object_storage", "error_code": "NoSuchBucket", "operation": "get_object", "endpoint": "127.0.0.1:18334", "bucket": "messenger", "key": "messenger/verify/s1-missing", "duration_ms": 3, "error_type": "NoSuchBucket", "level": "error", "timestamp": "2026-10-20T18:33:25.550350Z", "filename": "client.py", "func_name": "_failure", "lineno": 345}
$ s1_check.py "deleted bucket"   # временный стенд, порт 18334
deleted bucket: head -> None
  log: error 'Object storage bucket is missing' operation=get_object error_code=NoSuchBucket
deleted bucket: open -> ObjectStorageUnavailable
  log: error 'Object storage bucket is missing' operation=delete_object error_code=NoSuchBucket
deleted bucket: delete -> ObjectStorageUnavailable
  log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
deleted bucket: put -> ObjectStorageUnavailable
$ s1_check.py "missing key"   # рабочий стенд
missing key: head -> None
missing key: open -> StoredObjectMissing
missing key: delete -> None
missing key: put -> None
$ S3__BUCKET=nonexistent-bkt s1_check.py "bucket without rights"   # рабочий стенд
  log: error 'Object storage denied access' operation=head_object error_code=403
bucket without rights: head -> ObjectStorageUnavailable
  log: error 'Object storage denied access' operation=get_object error_code=AccessDenied
bucket without rights: open -> ObjectStorageUnavailable
  log: error 'Object storage denied access' operation=delete_object error_code=AccessDenied
bucket without rights: delete -> ObjectStorageUnavailable
  log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
bucket without rights: put -> ObjectStorageUnavailable
$ S3__SECRET_ACCESS_KEY=wrong s1_check.py "wrong secret"   # рабочий стенд
  log: error 'Object storage denied access' operation=head_object error_code=403
wrong secret: head -> ObjectStorageUnavailable
  log: error 'Object storage rejected credentials' operation=get_object error_code=SignatureDoesNotMatch
wrong secret: open -> ObjectStorageUnavailable
  log: error 'Object storage rejected credentials' operation=delete_object error_code=SignatureDoesNotMatch
wrong secret: delete -> ObjectStorageUnavailable
  log: error 'Object storage rejected credentials' operation=put_object error_code=SignatureDoesNotMatch
wrong secret: put -> ObjectStorageUnavailable
  • Удалённый bucket: open, delete и put — ObjectStorageUnavailable (503) с записью error. За отсутствующий объект он не выдаётся. PUT в удалённый bucket SeaweedFS отклоняет AccessDenied, GET и DELETE — NoSuchBucket.
  • Отсутствующий ключ в своём bucket: head → None, open → StoredObjectMissing, delete — не ошибка, put проходит (объект затем удалён).
  • Bucket без прав ключа API: все четыре вызова — 503 и «denied access». head больше не даёт 500.
  • Неверный секрет: «rejected credentials» у GET, PUT, DELETE.

Ограничение HEAD (принято, PLAN.md, s3-storage, «Вопросы», п. 4). У ответа HEAD нет тела, поэтому нет и кода ошибки S3. SeaweedFS отвечает одинаковым 404 и на отсутствующий ключ, и на удалённый bucket:

deleted bucket: head_object {'Code': '404', 'Message': 'Not Found'} 404
missing key:    head_object {'Code': '404', 'Message': 'Not Found'} 404
deleted bucket: get_object  {'Code': 'NoSuchBucket', ...} 404
missing key:    get_object  {'Code': 'NoSuchKey', ...} 404

(head_headers.py, scratchpad, 18:10 UTC: ответы сервера через botocore напрямую, без перевода ошибок клиентом; вывод сокращён до кода и статуса, заголовки ответов различаются только content-length.) Поэтому head удалённого bucket отдаёт None, а неверный секрет у HEAD журналируется как «denied access» (403 без кода). Лишний GET Range: bytes=0-0 на каждый промах, чтобы различить случаи, не делается. Удалённый bucket видят put, open и delete (503), а также bootstrap и make s3_check. Промах head не должен быть основанием для разрушающего решения без проверки, что bucket на месте. Это учитывают upload-consistency и reconciler трека 2.

5. Секретов в журнале нет

Значения пяти секретов S3 и паролей PostgreSQL и Valkey стенда (из docker compose config, значения не печатаются) проверены grep -F по выводу всех прогонов разделов 1–4:

ev8-client-raw.log bytes 2883 hits 0
ev8-s1-raw.log bytes 5834 hits 0

Запись старта API (apply, make run_dev, тот же клиент) — с адресом и bucket, без ключей:

{"event": "Started API", "instance_id": "<host>", "module": "startup", "host": "127.0.0.1", "port": 8080, "run_mode": "<RunModeEnum.CONSOLE: 'console'>", "database_host": "127.0.0.1", "database_port": 5433, "database_name": "messenger", "cache_host": "127.0.0.1", "cache_port": 6380, "s3_host": "127.0.0.1", "s3_port": 8334, "s3_bucket": "messenger", "level": "info", ...}

Логгеры botocore, aiobotocore и aiohttp стоят на WARNING (src/infra/logger.py): заголовок Authorization с подписью в журнал не попадает.