- evidence/s3 and evidence/tests re-captured from f57635a: first write
after healthy, deleted bucket, netstat-based port check, readiness
with s3 paused, prefix cleanup check
- PLAN: HEAD on a deleted bucket is an accepted limitation
- KNOWN_ISSUES: bootstrap after a manual bucket delete
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
13 KiB
Клиент S3 приложения: операции, отказы, отказ в учётных данных и в доступе
- Дата: 2026-10-20, 18:32–18:34 UTC.
- Commit:
f57635a(рабочее дерево — толькоPLAN.mdвне кода). - Стенд:
make run_dockerс этого commit, проектmtusi-lab4. Клиент запущен в консоли (uv run python, настройки из.envиconfig.tomlпо умолчанию):127.0.0.1:8334, bucketmessenger,[s3] timeout_seconds5,connect_timeout_seconds1, без повторов. Раздел 4 — ещё и временный стенд (ниже). - Скрипты (scratchpad):
probe_client.pyвызываетsrc.infra.s3(ObjectStorage) и docker compose (pause,stop,startсервисаs3);s1_check.py—head,open,delete,putотсутствующего ключа и записи журнала. - Спек
object-storage: «Клиент хранилища в приложении» — «S3 остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Bucket нет», «Учётные данные отклонены»;service-logging: «Обращение к S3». Design changes3-storage, решение 7 и «Уточнения apply», п. 10. - Hostname машины в поле
instance_idзаменён на<host>.
1. Операции
$ uv run python probe_client.py ops
put 3 MiB: ok in 95 ms
head: ok in 3 ms
head: size=3145745 content_type=image/png
open: size=3145745 content_type=image/png
open+read: ok in 36 ms
sha256 equal: True
delete: ok in 2 ms
head missing -> None
open missing: StoredObjectMissing in 2 ms
delete missing: ok in 1 ms
Отсутствующий объект отличается от недоступности: head → None, open
→ StoredObjectMissing, delete → не ошибка.
2. S3 завис, остановлен, вернулся — без перезапуска клиента
$ uv run python probe_client.py outage
healthy put: ok in 24 ms
timeout_seconds=5.0
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:35.180408Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused put: ObjectStorageUnavailable in 5005 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:40.185455Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused head: ObjectStorageUnavailable in 5004 ms
unpaused put: ok in 8 ms
docker compose stop s3: 15.3 s
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.677244Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped put: ObjectStorageUnavailable in 8 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 1, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.678976Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped head: ObjectStorageUnavailable in 1 ms
started put: ok in 29 ms
started delete: ok in 6 ms
- Сервер заморожен (
docker pause): вызов обрывается сроком через 5,004–5,005 с при сроке 5 с, повторов нет. - Сервер остановлен: отказ соединения за 1–8 мс, это меньше 0,1 с.
- После
unpauseиstartследующий вызов проходит тем же клиентом, без пересоздания. Первая запись послеstartиup --wait— 29 мс:healthyждёт регистрации тома (restart.md, раздел 4).
3. Неверный секрет — 503 и одна запись error
$ uv run python probe_client.py wrong-secret
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 10, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T18:33:04.228972Z", "lineno": 354, "filename": "client.py", "func_name": "_failure"}
wrong secret put: ObjectStorageUnavailable in 10 ms
ObjectStorageUnavailable — наследник ServiceUnavailable: таблица
src/api/errors.py отдаёт на него 503 unavailable.
$ uv run python -c "from src.api.errors import DOMAIN_ERRORS; from src.core.exceptions import ObjectStorageUnavailable as E; print(next((c.__name__, DOMAIN_ERRORS[c]) for c in E.__mro__ if c in DOMAIN_ERRORS))"
('ServiceUnavailable', (503, <ErrorCode.UNAVAILABLE: 'unavailable'>))
4. Нет bucket, нет прав, неверный секрет, нет ключа
Находка verify S1: прежний клиент считал любой 404 отсутствующим
объектом, поэтому удалённый bucket выглядел как «объекта нет», а delete
вопреки docstring бросал исключение. AccessDenied журналировался как
«rejected credentials», а HEAD с 403 без тела не переводился (500).
Удалённый bucket проверен на временном стенде: проект compose
mtusi-lab4-s3fresh с S3 на tmpfs (без volumes) и портом 127.0.0.1:18334,
тот же docker-compose.yml и .env. Bootstrap создал bucket и
пользователя, затем bucket удалён административной командой мимо
bootstrap. После проверки стенд удалён (down).
s3-bootstrap: bucket messenger created
s3-bootstrap: user api created
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
$ printf "s3.bucket.delete -name messenger\n" | weed shell (временный стенд)
$ printf "s3.bucket.list\n" | weed shell
(пусто)
Каждая запись журнала ниже сокращена до уровня, event, операции и
error_code; полная запись — как в разделе 3. Пример:
{"event": "Object storage bucket is missing", "instance_id": "<host>", "module": "object_storage", "error_code": "NoSuchBucket", "operation": "get_object", "endpoint": "127.0.0.1:18334", "bucket": "messenger", "key": "messenger/verify/s1-missing", "duration_ms": 3, "error_type": "NoSuchBucket", "level": "error", "timestamp": "2026-10-20T18:33:25.550350Z", "filename": "client.py", "func_name": "_failure", "lineno": 345}
$ s1_check.py "deleted bucket" # временный стенд, порт 18334
deleted bucket: head -> None
log: error 'Object storage bucket is missing' operation=get_object error_code=NoSuchBucket
deleted bucket: open -> ObjectStorageUnavailable
log: error 'Object storage bucket is missing' operation=delete_object error_code=NoSuchBucket
deleted bucket: delete -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
deleted bucket: put -> ObjectStorageUnavailable
$ s1_check.py "missing key" # рабочий стенд
missing key: head -> None
missing key: open -> StoredObjectMissing
missing key: delete -> None
missing key: put -> None
$ S3__BUCKET=nonexistent-bkt s1_check.py "bucket without rights" # рабочий стенд
log: error 'Object storage denied access' operation=head_object error_code=403
bucket without rights: head -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=get_object error_code=AccessDenied
bucket without rights: open -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=delete_object error_code=AccessDenied
bucket without rights: delete -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
bucket without rights: put -> ObjectStorageUnavailable
$ S3__SECRET_ACCESS_KEY=wrong s1_check.py "wrong secret" # рабочий стенд
log: error 'Object storage denied access' operation=head_object error_code=403
wrong secret: head -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=get_object error_code=SignatureDoesNotMatch
wrong secret: open -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=delete_object error_code=SignatureDoesNotMatch
wrong secret: delete -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=put_object error_code=SignatureDoesNotMatch
wrong secret: put -> ObjectStorageUnavailable
- Удалённый bucket:
open,deleteиput—ObjectStorageUnavailable(503) с записьюerror. За отсутствующий объект он не выдаётся. PUT в удалённый bucket SeaweedFS отклоняетAccessDenied, GET и DELETE —NoSuchBucket. - Отсутствующий ключ в своём bucket:
head→None,open→StoredObjectMissing,delete— не ошибка,putпроходит (объект затем удалён). - Bucket без прав ключа API: все четыре вызова — 503 и «denied access».
headбольше не даёт 500. - Неверный секрет: «rejected credentials» у GET, PUT, DELETE.
Ограничение HEAD (принято, PLAN.md, s3-storage, «Вопросы», п. 4).
У ответа HEAD нет тела, поэтому нет и кода ошибки S3. SeaweedFS отвечает
одинаковым 404 и на отсутствующий ключ, и на удалённый bucket:
deleted bucket: head_object {'Code': '404', 'Message': 'Not Found'} 404
missing key: head_object {'Code': '404', 'Message': 'Not Found'} 404
deleted bucket: get_object {'Code': 'NoSuchBucket', ...} 404
missing key: get_object {'Code': 'NoSuchKey', ...} 404
(head_headers.py, scratchpad, 18:10 UTC: ответы сервера через botocore
напрямую, без перевода ошибок клиентом; вывод сокращён до кода и
статуса, заголовки ответов различаются только content-length.) Поэтому
head удалённого bucket отдаёт None, а неверный секрет у HEAD
журналируется как «denied access» (403 без кода). Лишний GET Range: bytes=0-0 на каждый промах, чтобы различить случаи, не делается.
Удалённый bucket видят put, open и delete (503), а также bootstrap
и make s3_check. Промах head не должен быть основанием для
разрушающего решения без проверки, что bucket на месте. Это учитывают
upload-consistency и reconciler трека 2.
5. Секретов в журнале нет
Значения пяти секретов S3 и паролей PostgreSQL и Valkey стенда (из
docker compose config, значения не печатаются) проверены grep -F по
выводу всех прогонов разделов 1–4:
ev8-client-raw.log bytes 2883 hits 0
ev8-s1-raw.log bytes 5834 hits 0
Запись старта API (apply, make run_dev, тот же клиент) — с адресом и
bucket, без ключей:
{"event": "Started API", "instance_id": "<host>", "module": "startup", "host": "127.0.0.1", "port": 8080, "run_mode": "<RunModeEnum.CONSOLE: 'console'>", "database_host": "127.0.0.1", "database_port": 5433, "database_name": "messenger", "cache_host": "127.0.0.1", "cache_port": 6380, "s3_host": "127.0.0.1", "s3_port": 8334, "s3_bucket": "messenger", "level": "info", ...}
Логгеры botocore, aiobotocore и aiohttp стоят на WARNING
(src/infra/logger.py): заголовок Authorization с подписью в журнал не
попадает.