docs: re-capture s3-storage evidence after verify fixes

- evidence/s3 and evidence/tests re-captured from f57635a: first write
  after healthy, deleted bucket, netstat-based port check, readiness
  with s3 paused, prefix cleanup check
- PLAN: HEAD on a deleted bucket is an accepted limitation
- KNOWN_ISSUES: bootstrap after a manual bucket delete

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-20 21:47:01 +03:00
co-authored by Claude Opus 5.5
parent f57635a5fb
commit 1471f07a0e
9 changed files with 551 additions and 228 deletions
+19
View File
@@ -20,3 +20,22 @@
измеряемого изменения (сейчас `5d5d8f9`, перенос кода лабы 3), а в
`bench.md` — правило менять его при переходе в следующую лабу
(раздел «Переход в следующую лабу» AGENTS.md).
## Bootstrap после удаления bucket: «api key put (code 500)»
- **Где:** `infra/s3/bootstrap.sh` (режим `apply`), SeaweedFS 4.48.
- **Что:** на временном стенде bucket удалили вручную, повторный
bootstrap написал «bucket created», затем «FAILED: api key put (code
500)». Предположение: SeaweedFS не принимает запись в заново созданный
bucket с тем же именем сразу после удаления. Причина не установлена:
контейнер S3 в тот момент мог перезапускаться. Найдено в правках по
verify change `s3-storage` (2026-10-20), в evidence не входит.
- **Чем грозит:** восстановление стенда после удаления bucket мимо API
не проходит одним повтором bootstrap. Штатный путь (bucket не
удаляют) не затронут.
- **Предложение:** воспроизвести на свежем стенде (`fs.rm` / `s3.bucket.delete`,
затем `docker compose run --rm s3-bootstrap`). Если повторяется —
bootstrap после создания bucket ждёт, пока проверочная запись пройдёт
(повтор с ограниченным сроком), и описать это в `docker.md`. Удобно
разобрать в change `track2-reconciler`: там ошибки на стороне S3
вносятся намеренно.
+12
View File
@@ -591,3 +591,15 @@ design) и «Вопросы» (ждут ответа; ответ дописыв
**Ответ пользователя 2026-10-20:** в change `attachments`: он
добавляет миграцию, и rollout со старого образа на новую схему — нужное
evidence. До тех пор запись остаётся в `KNOWN_ISSUES.md`.
4. HEAD при удалённом bucket даёт `None`, как отсутствующий ключ:
SeaweedFS отвечает на HEAD одним и тем же 404 без тела (решение 21,
design «Уточнения apply» п. 10). Нужен ли лишний GET `Range:
bytes=0-0` на каждый промах, чтобы их различить?
**Ответ основной сессии 2026-10-20:** нет, ограничение принято.
Удалённый bucket видят `put`, `open` и `delete` (503), а также
bootstrap и `make s3_check`. Лишний запрос на каждый промах не нужен.
Правило для следующих changes: промах `head` не основание для
разрушающего решения (удалить строку, пометить вложение потерянным)
без проверки, что bucket на месте. Это учитывают `upload-consistency`
и reconciler трека 2.
+15 -10
View File
@@ -149,8 +149,11 @@ compose up -d s3-bootstrap` или `make run_docker`.
## Доказательства критериев
Строки S3 (change `s3-storage`) сняты с commit `2e997f9` на стенде `make
run_docker`, если не сказано иное.
Строки S3 (change `s3-storage`) сняты на стенде `make run_docker`, если
не сказано иное: `evidence/s3/restart.md`, `client.md`, `privacy.md`,
`evidence/tests/failure-checks.md` и `test-isolated-s3-cleanup.md` — с
commit `f57635a` (правки по verify), остальные файлы `evidence/s3/` — с
`2e997f9`.
**До change `attachments` красные:**
- публичный smoke, `make test-persistence` и `make test-failover`: они
@@ -166,13 +169,13 @@ run_docker`, если не сказано иное.
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO после `attachments`; сейчас `FAIL: response: missing required fields` (нет `attachment_ids`) | `evidence/tests/test-isolated-s3-cleanup.md` |
| «3»: S3-сервер в общем стенде, закреплённая версия | `make run_docker`, `docker compose ps` | `s3` на `chrislusf/seaweedfs:4.48@sha256:…` в состоянии `healthy`, `s3-bootstrap` — `Exited (0)`, реплики стартуют после него | `evidence/s3/privacy.md` (раздел 3), `evidence/s3/bootstrap.md` (раздел 1) |
| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 25 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL | `evidence/s3/restart.md` |
| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 24 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL; первая запись после `healthy` — 11–27 мс в 18 рестартах и `kill` (healthcheck ждёт регистрации тома) | `evidence/s3/restart.md` |
| «3»: создание приватного bucket описано | `docker compose logs s3-bootstrap` на пустом volume | «bucket messenger created», «user api created», «checks passed» | `evidence/s3/bootstrap.md` (раздел 1), «Архитектура и решения» → «Bootstrap S3» |
| «4»: bootstrap идемпотентен | `docker compose run --rm s3-bootstrap` дважды; повтор с новым секретом; `S3_BUCKET=Bad_Bucket` | повтор — «exists», код 0, объекты на месте; новый секрет работает, прежний — 503; ошибка — код 1, «FAILED: bucket create», реплики не стартуют | `evidence/s3/bootstrap.md` |
| «4»: отдельные ограниченные credentials API | `make s3_check` (строки `api key …`); секреты по сервисам из `docker compose config` | ключ API: объекты своего bucket — 200 / 204; список, bucket, политика, ACL, чужой bucket — 403; административной пары у API нет | `evidence/s3/privacy.md` (разделы 1, 4) |
| «4»: административная консоль не в общей сети | `nc -z` из сети стенда (`make s3_check`); `docker port`; gRPC без токена | открыты только 8333 и 18333; master, filer, volume и admin UI закрыты; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` |
| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 52 проверки, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` |
| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage`); клиент при `pause` и `stop` S3 | без S3 `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` |
| «4»: административная консоль не в общей сети | `make s3_check`: слушающие сокеты контейнера S3 (`netstat`), затем `nc -z` из сети стенда; `docker port`; gRPC без токена | вне loopback слушают только 8333 и 18333; master, filer и volume — только на `127.0.0.1` и из сети закрыты, admin UI не слушает; со служебными серверами на `0.0.0.0` (временный стенд) — код 1 и список лишних портов; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` |
| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 48 проверок, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` |
| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage[stop\|pause]`); клиент при `pause` и `stop` S3, без bucket и без прав | без S3 (остановлен или заморожен) `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 1–8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит; удалённый bucket и отказ в доступе — 503 с записью `error`, а не «объекта нет» (кроме HEAD: 404 без тела) | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` |
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; подбор лимитов API — `upload-memory` | `evidence/s3/memory.md` |
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
| Остальные пункты уровня 3 | TODO (`attachments`) | TODO | TODO |
@@ -187,10 +190,12 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 007–5 008 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 9 мс; потерь нет |
| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,6 с, код 0; вызов — 503 за 2–8 мс | после `start` первый вызов тем же клиентом проходит |
| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 3 с; потерь нет |
| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 25 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — |
| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 004–5 005 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 8 мс; потерь нет |
| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,3 с, код 0; вызов — 503 за 1–8 мс | после `start` первый вызов тем же клиентом проходит (29 мс) |
| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 5 с; потерь нет |
| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 24 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — |
| Рестарт и SIGKILL S3, сразу первая запись | запись не ждёт регистрации тома после `healthy` | до правки healthcheck — 2 из 8 рестартов ждали 4 771 и 2 523 мс (срок 5 с); после — 11–27 мс в 12 рестартах и 6 `kill` | — |
| Bucket удалён мимо bootstrap | 503 и `error`, а не «объекта нет» | `put`, `open`, `delete` — 503, «bucket is missing» / «denied access»; `head` — `None` (404 без тела, ограничение принято) | — |
| Неверный секрет API у приложения | 503 и запись `error` без секрета | `SignatureDoesNotMatch` → 503, одна запись `error` | — |
| 20 одновременных PUT по 10 MiB | без OOM | анонимная память не больше 379 MiB; последний PUT подтверждён через 7,2 с (очередь лимита загрузок 64 МБ) | — |
+138 -37
View File
@@ -1,29 +1,31 @@
# Клиент S3 приложения: операции, отказы, отказ в учётных данных
# Клиент S3 приложения: операции, отказы, отказ в учётных данных и в доступе
- Дата: 2026-10-20, 17:15–17:16 UTC.
- Commit: `2e997f9`.
- Стенд: `make run_docker`, проект `mtusi-lab4`. Клиент запущен в
консоли (`uv run python`, настройки из `.env` и `config.toml` по
умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3]
timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов.
- Скрипт `probe_client.py` (scratchpad) вызывает `src.infra.s3`
- Дата: 2026-10-20, 18:32–18:34 UTC.
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Клиент
запущен в консоли (`uv run python`, настройки из `.env` и `config.toml`
по умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3]
timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов. Раздел 4
— ещё и временный стенд (ниже).
- Скрипты (scratchpad): `probe_client.py` вызывает `src.infra.s3`
(`ObjectStorage`) и docker compose (`pause`, `stop`, `start` сервиса
`s3`).
`s3`); `s1_check.py` — `head`, `open`, `delete`, `put` отсутствующего
ключа и записи журнала.
- Спек `object-storage`: «Клиент хранилища в приложении» — «S3
остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Учётные данные
отклонены»; `service-logging`: «Обращение к S3». Design change
`s3-storage`, решение 7.
остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Bucket нет»,
«Учётные данные отклонены»; `service-logging`: «Обращение к S3». Design
change `s3-storage`, решение 7 и «Уточнения apply», п. 10.
- Hostname машины в поле `instance_id` заменён на `<host>`.
## 1. Операции
```
$ uv run python probe_client.py ops
put 3 MiB: ok in 139 ms
put 3 MiB: ok in 95 ms
head: ok in 3 ms
head: size=3145745 content_type=image/png
open: size=3145745 content_type=image/png
open+read: ok in 63 ms
open+read: ok in 36 ms
sha256 equal: True
delete: ok in 2 ms
head missing -> None
@@ -38,34 +40,35 @@ delete missing: ok in 1 ms
```
$ uv run python probe_client.py outage
healthy put: ok in 15 ms
healthy put: ok in 24 ms
timeout_seconds=5.0
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:00.590525Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
paused put: ObjectStorageUnavailable in 5008 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:05.598635Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
paused head: ObjectStorageUnavailable in 5007 ms
unpaused put: ok in 9 ms
docker compose stop s3: 15.6 s
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.444762Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:35.180408Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused put: ObjectStorageUnavailable in 5005 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:40.185455Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
paused head: ObjectStorageUnavailable in 5004 ms
unpaused put: ok in 8 ms
docker compose stop s3: 15.3 s
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.677244Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped put: ObjectStorageUnavailable in 8 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 2, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.447111Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
stopped head: ObjectStorageUnavailable in 2 ms
started put: ok in 18 ms
started delete: ok in 7 ms
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 1, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.678976Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
stopped head: ObjectStorageUnavailable in 1 ms
started put: ok in 29 ms
started delete: ok in 6 ms
```
- Сервер заморожен (`docker pause`): вызов обрывается сроком через
5,007–5,008 с при сроке 5 с, повторов нет.
- Сервер остановлен: отказ соединения за 2–8 мс, это меньше 0,1 с.
5,004–5,005 с при сроке 5 с, повторов нет.
- Сервер остановлен: отказ соединения за 1–8 мс, это меньше 0,1 с.
- После `unpause` и `start` следующий вызов проходит тем же клиентом,
без пересоздания.
без пересоздания. Первая запись после `start` и `up --wait` — 29 мс:
`healthy` ждёт регистрации тома (`restart.md`, раздел 4).
## 3. Неверный секрет — 503 и одна запись `error`
```
$ uv run python probe_client.py wrong-secret
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 13, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T17:16:27.071569Z", "func_name": "_failure", "lineno": 332, "filename": "client.py"}
wrong secret put: ObjectStorageUnavailable in 13 ms
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 10, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T18:33:04.228972Z", "lineno": 354, "filename": "client.py", "func_name": "_failure"}
wrong secret put: ObjectStorageUnavailable in 10 ms
```
`ObjectStorageUnavailable` — наследник `ServiceUnavailable`: таблица
@@ -76,17 +79,115 @@ $ uv run python -c "from src.api.errors import DOMAIN_ERRORS; from src.core.exce
('ServiceUnavailable', (503, <ErrorCode.UNAVAILABLE: 'unavailable'>))
```
## 4. Секретов в журнале нет
## 4. Нет bucket, нет прав, неверный секрет, нет ключа
Значения пяти секретов S3 из `.env` (административные ключ и секрет, ключ
подписи, ключ и секрет API) проверены `grep -F` по выводу трёх прогонов:
Находка verify S1: прежний клиент считал любой 404 отсутствующим
объектом, поэтому удалённый bucket выглядел как «объекта нет», а `delete`
вопреки docstring бросал исключение. `AccessDenied` журналировался как
«rejected credentials», а HEAD с 403 без тела не переводился (500).
Удалённый bucket проверен на временном стенде: проект compose
`mtusi-lab4-s3fresh` с S3 на tmpfs (без volumes) и портом `127.0.0.1:18334`,
тот же `docker-compose.yml` и `.env`. Bootstrap создал bucket и
пользователя, затем bucket удалён административной командой мимо
bootstrap. После проверки стенд удалён (`down`).
```
secret/key values found in client logs: 0
s3-bootstrap: bucket messenger created
s3-bootstrap: user api created
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
$ printf "s3.bucket.delete -name messenger\n" | weed shell (временный стенд)
$ printf "s3.bucket.list\n" | weed shell
(пусто)
```
В apply тем же способом проверен журнал `make run_dev`, к пяти значениям
добавлены пароли PostgreSQL и Valkey: 0 совпадений. Запись старта:
Каждая запись журнала ниже сокращена до уровня, `event`, операции и
`error_code`; полная запись — как в разделе 3. Пример:
```
{"event": "Object storage bucket is missing", "instance_id": "<host>", "module": "object_storage", "error_code": "NoSuchBucket", "operation": "get_object", "endpoint": "127.0.0.1:18334", "bucket": "messenger", "key": "messenger/verify/s1-missing", "duration_ms": 3, "error_type": "NoSuchBucket", "level": "error", "timestamp": "2026-10-20T18:33:25.550350Z", "filename": "client.py", "func_name": "_failure", "lineno": 345}
```
```
$ s1_check.py "deleted bucket" # временный стенд, порт 18334
deleted bucket: head -> None
log: error 'Object storage bucket is missing' operation=get_object error_code=NoSuchBucket
deleted bucket: open -> ObjectStorageUnavailable
log: error 'Object storage bucket is missing' operation=delete_object error_code=NoSuchBucket
deleted bucket: delete -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
deleted bucket: put -> ObjectStorageUnavailable
$ s1_check.py "missing key" # рабочий стенд
missing key: head -> None
missing key: open -> StoredObjectMissing
missing key: delete -> None
missing key: put -> None
$ S3__BUCKET=nonexistent-bkt s1_check.py "bucket without rights" # рабочий стенд
log: error 'Object storage denied access' operation=head_object error_code=403
bucket without rights: head -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=get_object error_code=AccessDenied
bucket without rights: open -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=delete_object error_code=AccessDenied
bucket without rights: delete -> ObjectStorageUnavailable
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
bucket without rights: put -> ObjectStorageUnavailable
$ S3__SECRET_ACCESS_KEY=wrong s1_check.py "wrong secret" # рабочий стенд
log: error 'Object storage denied access' operation=head_object error_code=403
wrong secret: head -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=get_object error_code=SignatureDoesNotMatch
wrong secret: open -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=delete_object error_code=SignatureDoesNotMatch
wrong secret: delete -> ObjectStorageUnavailable
log: error 'Object storage rejected credentials' operation=put_object error_code=SignatureDoesNotMatch
wrong secret: put -> ObjectStorageUnavailable
```
- Удалённый bucket: `open`, `delete` и `put` — `ObjectStorageUnavailable`
(503) с записью `error`. За отсутствующий объект он не выдаётся. PUT в
удалённый bucket SeaweedFS отклоняет `AccessDenied`, GET и DELETE —
`NoSuchBucket`.
- Отсутствующий ключ в своём bucket: `head` → `None`, `open` →
`StoredObjectMissing`, `delete` — не ошибка, `put` проходит (объект
затем удалён).
- Bucket без прав ключа API: все четыре вызова — 503 и «denied access».
`head` больше не даёт 500.
- Неверный секрет: «rejected credentials» у GET, PUT, DELETE.
**Ограничение HEAD (принято, `PLAN.md`, `s3-storage`, «Вопросы», п. 4).**
У ответа HEAD нет тела, поэтому нет и кода ошибки S3. SeaweedFS отвечает
одинаковым 404 и на отсутствующий ключ, и на удалённый bucket:
```
deleted bucket: head_object {'Code': '404', 'Message': 'Not Found'} 404
missing key: head_object {'Code': '404', 'Message': 'Not Found'} 404
deleted bucket: get_object {'Code': 'NoSuchBucket', ...} 404
missing key: get_object {'Code': 'NoSuchKey', ...} 404
```
(`head_headers.py`, scratchpad, 18:10 UTC: ответы сервера через botocore
напрямую, без перевода ошибок клиентом; вывод сокращён до кода и
статуса, заголовки ответов различаются только `content-length`.) Поэтому
`head` удалённого bucket отдаёт `None`, а неверный секрет у HEAD
журналируется как «denied access» (403 без кода). Лишний GET `Range:
bytes=0-0` на каждый промах, чтобы различить случаи, не делается.
Удалённый bucket видят `put`, `open` и `delete` (503), а также bootstrap
и `make s3_check`. Промах `head` не должен быть основанием для
разрушающего решения без проверки, что bucket на месте. Это учитывают
`upload-consistency` и reconciler трека 2.
## 5. Секретов в журнале нет
Значения пяти секретов S3 и паролей PostgreSQL и Valkey стенда (из
`docker compose config`, значения не печатаются) проверены `grep -F` по
выводу всех прогонов разделов 1–4:
```
ev8-client-raw.log bytes 2883 hits 0
ev8-s1-raw.log bytes 5834 hits 0
```
Запись старта API (apply, `make run_dev`, тот же клиент) — с адресом и
bucket, без ключей:
```
{"event": "Started API", "instance_id": "<host>", "module": "startup", "host": "127.0.0.1", "port": 8080, "run_mode": "<RunModeEnum.CONSOLE: 'console'>", "database_host": "127.0.0.1", "database_port": 5433, "database_name": "messenger", "cache_host": "127.0.0.1", "cache_port": 6380, "s3_host": "127.0.0.1", "s3_port": 8334, "s3_bucket": "messenger", "level": "info", ...}
+143 -96
View File
@@ -1,113 +1,134 @@
# Приватность bucket и изоляция S3 вне API
- Дата: 2026-10-20, 17:15–17:16 UTC.
- Commit: `2e997f9` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop 29.8.2,
compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3 Pro. S3 —
`chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`.
- Дата: 2026-10-20, 18:34–18:35 UTC.
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker
Desktop 29.8.2, compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3
Pro. S3 — `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`.
- Спек `object-storage`: «Проверка приватности вне API», «Запрет
анонимного доступа», «Ограниченные учётные данные API», «Служебные
интерфейсы вне сети»; спек `container-run`: «Публикация только на
localhost», «Секреты по сервисам». Design change `s3-storage`,
решения 1, 3, 8.
решения 1, 3, 8 и «Уточнения apply», п. 13.
## 1. `make s3_check`
Без приложения: bootstrap в режиме `check` (строки `server`), анонимные
запросы с хоста на `127.0.0.1:8334` (`host`) и из одноразового
контейнера в сети `mtusi-lab4_default` (`network`), порты контейнера S3
из сети, затем режим `cleanup` и `weed shell` — остатков нет.
Без приложения выполняются:
- bootstrap в режиме `check` (строки `server`);
- анонимные запросы с хоста на `127.0.0.1:8334` (`host`) и из
одноразового контейнера в сети `mtusi-lab4_default` (`network`);
- слушающие сокеты контейнера S3 (`netstat -tuln` в нём) и их проверка из
сети;
- в конце режим `cleanup` и `weed shell`: остатков нет.
С `f57635a` порты не перечислены заранее (находка verify S4). Порты вне
loopback должны совпасть ровно с API S3 и gRPC шлюза. Каждый порт,
который слушают только на loopback, проверяется из сети `nc -z` как
закрытый.
```
$ make s3_check
python3 .claude/skills/run-mtusi-messenger/driver.py s3-check
S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48
where check expected got verdict
server anonymous access setting none none ok
server api key put object 200 200 ok
server api key get object 200 200 ok
server api key head object 200 200 ok
server api key get missing object 404 404 ok
server api key list objects 403 403 ok
server api key create bucket 403 403 ok
server api key delete bucket 403 403 ok
server api key get bucket policy 403 403 ok
server api key put bucket policy 403 403 ok
server api key get bucket acl 403 403 ok
server api key put bucket acl public-read 403 403 ok
server api key put object acl public-read 403 403 ok
server api key put object to other bucket 403 403 ok
server api key get object from other bucket 403 403 ok
server api key list other bucket 403 403 ok
server api key delete other bucket 403 403 ok
server anonymous get object 403 403 ok
server anonymous head object 403 403 ok
server anonymous get missing object 403 403 ok
server anonymous list objects 403 403 ok
server anonymous list buckets 403 403 ok
server anonymous put object 403 403 ok
server anonymous create bucket 403 403 ok
host anonymous get object 403 403 ok
host anonymous head object 403 403 ok
host anonymous get missing object 403 403 ok
host anonymous list objects 403 403 ok
host anonymous list buckets 403 403 ok
host anonymous put object 403 403 ok
network anonymous get object 403 403 ok
network anonymous head object 403 403 ok
network anonymous get missing object 403 403 ok
network anonymous list objects 403 403 ok
network anonymous list buckets 403 403 ok
network anonymous put object 403 403 ok
network port 8333 (S3 API / gRPC of gateway) open open ok
network port 18333 (S3 API / gRPC of gateway) open open ok
network port 9333 closed closed ok
network port 19333 closed closed ok
network port 8888 closed closed ok
network port 18888 closed closed ok
network port 8080 closed closed ok
network port 18080 closed closed ok
network port 23646 closed closed ok
network port 8181 closed closed ok
network port 9101 closed closed ok
network port 7333 closed closed ok
network port 8111 closed closed ok
network port 6060 closed closed ok
server temporary buckets left 0 0 ok
server probe objects left 0 0 ok
PASS: 52 checks, bucket messenger is private
where check expected got verdict
server anonymous access setting none none ok
server api key put object 200 200 ok
server api key get object 200 200 ok
server api key head object 200 200 ok
server api key get missing object 404 404 ok
server api key list objects 403 403 ok
server api key create bucket 403 403 ok
server api key delete bucket 403 403 ok
server api key get bucket policy 403 403 ok
server api key put bucket policy 403 403 ok
server api key get bucket acl 403 403 ok
server api key put bucket acl public-read 403 403 ok
server api key put object acl public-read 403 403 ok
server api key put object to other bucket 403 403 ok
server api key get object from other bucket 403 403 ok
server api key list other bucket 403 403 ok
server api key delete other bucket 403 403 ok
server anonymous get object 403 403 ok
server anonymous head object 403 403 ok
server anonymous get missing object 403 403 ok
server anonymous list objects 403 403 ok
server anonymous list buckets 403 403 ok
server anonymous put object 403 403 ok
server anonymous create bucket 403 403 ok
host anonymous get object 403 403 ok
host anonymous head object 403 403 ok
host anonymous get missing object 403 403 ok
host anonymous list objects 403 403 ok
host anonymous list buckets 403 403 ok
host anonymous put object 403 403 ok
server listening outside loopback 8333 18333 8333 18333 ok
network anonymous get object 403 403 ok
network anonymous head object 403 403 ok
network anonymous get missing object 403 403 ok
network anonymous list objects 403 403 ok
network anonymous list buckets 403 403 ok
network anonymous put object 403 403 ok
network port 8333 (S3 API / gRPC of gateway) open open ok
network port 18333 (S3 API / gRPC of gateway) open open ok
network port 8080 (loopback only) closed closed ok
network port 8888 (loopback only) closed closed ok
network port 9333 (loopback only) closed closed ok
network port 18080 (loopback only) closed closed ok
network port 18888 (loopback only) closed closed ok
network port 19333 (loopback only) closed closed ok
network port 44119 (loopback only) closed closed ok
server temporary buckets left 0 0 ok
server probe objects left 0 0 ok
PASS: 48 checks, bucket messenger is private
exit=0
```
Слушающие сокеты контейнера S3 в тот же момент:
```
$ docker compose exec -T s3 netstat -tln
tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:18888 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:19333 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:9333 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:18080 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.11:44119 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN
tcp 0 0 :::8333 :::* LISTEN
tcp 0 0 :::18333 :::* LISTEN
```
Наблюдения:
- аноним получает 403 на существующий и на отсутствующий ключ: наличие
объекта не раскрывается;
- ключ API читает, пишет и удаляет только объекты своего bucket
(отсутствующий ключ — 404). Список, операции с bucket, политика, ACL,
публичный ACL объекта и чужой bucket — 403;
- закрыты порты master (9333/19333), filer (8888/18888), volume
(8080/18080), admin UI (23646), Iceberg (8181), Lance (9101), а также
7333, 8111 и pprof (6060). Открыты только API S3 и gRPC шлюза. gRPC
шлюза закрыт ключом подписи — `grpc-admin.md`.
- вне loopback сервер слушает только 8333 (API S3) и 18333 (gRPC шлюза).
Master (9333/19333), filer (8888/18888) и volume (8080/18080) — только на
`127.0.0.1`, из сети закрыты. `127.0.0.11:<порт>` — встроенный DNS
Docker, порт меняется от контейнера к контейнеру. Admin UI, Iceberg и
Lance не слушают вовсе. gRPC шлюза закрыт ключом подписи —
`grpc-admin.md`.
## 2. Нарушение обнаруживается, bootstrap его исправляет
Анонимное чтение открыто административной командой мимо bootstrap:
### Анонимное чтение открыто мимо bootstrap
```
$ printf "s3.anonymous.set -bucket messenger -access Read\n" | docker compose exec -T s3 weed shell
Set anonymous access on bucket "messenger" to: Read
$ make s3_check (only FAIL lines)
server anonymous access setting none Read FAIL
server anonymous get object 403 200 FAIL
server anonymous head object 403 200 FAIL
server anonymous get missing object 403 404 FAIL
host anonymous get object 403 200 FAIL
host anonymous head object 403 200 FAIL
host anonymous get missing object 403 404 FAIL
network anonymous get object 403 200 FAIL
network anonymous head object 403 200 FAIL
network anonymous get missing object 403 404 FAIL
server anonymous access setting none Read FAIL
server anonymous get object 403 200 FAIL
server anonymous head object 403 200 FAIL
server anonymous get missing object 403 404 FAIL
host anonymous get object 403 200 FAIL
host anonymous head object 403 200 FAIL
host anonymous get missing object 403 404 FAIL
network anonymous get object 403 200 FAIL
network anonymous head object 403 200 FAIL
network anonymous get missing object 403 404 FAIL
FAIL: 10 check(s) failed: server: anonymous access setting; server: anonymous get object; server: anonymous head object; server: anonymous get missing object; host: anonymous get object; host: anonymous head object; host: anonymous get missing object; network: anonymous get object; network: anonymous head object; network: anonymous get missing object
exit=2
$ docker compose up -d s3-bootstrap; docker compose logs s3-bootstrap (last run)
@@ -116,26 +137,46 @@ s3-bootstrap: anonymous access to messenger closed
s3-bootstrap: user api exists
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
$ make s3_check | tail -1
PASS: 52 checks, bucket messenger is private
exit=0
PASS: 48 checks, bucket messenger is private
```
`exit=2` — это код `make`: драйвер вернул 1, и make на ошибке рецепта
отвечает 2.
### Служебные серверы слушают все интерфейсы
Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без
volumes), порт `127.0.0.1:18334`. У `s3` override команды с
`-ip.bind=0.0.0.0` вместо `127.0.0.1`. Bootstrap прошёл, затем драйвер
запущен против этого проекта (`COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`).
После проверки стенд удалён (`down`).
```
$ driver.py s3-check (временный стенд, -ip.bind=0.0.0.0)
S3 s3:8333 (host 127.0.0.1:18334), bucket messenger, image chrislusf/seaweedfs:4.48
where check expected got verdict
server listening outside loopback 8333 18333 8080 8333 8888 9333 18080 18333 18888 19333 FAIL
FAIL: 1 check(s) failed: server: listening outside loopback
exit=1
```
Остальные 41 проверка — `ok`. Нарушение названо списком портов, а не
найдено по заранее известному списку: новый порт нового выпуска
SeaweedFS проверка тоже увидит.
## 3. Публикация портов
```
$ docker compose ps -a
SERVICE STATUS PORTS
api Up 5 minutes (healthy) 8080/tcp
api Up 5 minutes (healthy) 8080/tcp
haproxy Up 5 minutes (healthy) 127.0.0.1:8080->8080/tcp
migrate Exited (0) 13 seconds ago
postgres Up 5 minutes (healthy) 127.0.0.1:5433->5432/tcp
s3 Up 5 minutes (healthy) 127.0.0.1:8334->8333/tcp
s3-bootstrap Exited (0) 14 seconds ago
valkey Up 5 minutes (healthy) 127.0.0.1:6380->6379/tcp
api Up 9 minutes (healthy) 8080/tcp
api Up 9 minutes (healthy) 8080/tcp
haproxy Up 9 minutes (healthy) 127.0.0.1:8080->8080/tcp
migrate Exited (0) 9 minutes ago
postgres Up 9 minutes (healthy) 127.0.0.1:5433->5432/tcp
s3 Up 2 minutes (healthy) 127.0.0.1:8334->8333/tcp
s3-bootstrap Exited (0) 52 seconds ago
valkey Up 9 minutes (healthy) 127.0.0.1:6380->6379/tcp
$ docker port (each container)
mtusi-lab4-api-1:
@@ -153,10 +194,14 @@ mtusi-lab4-valkey-1: 6379/tcp -> 127.0.0.1:6380
## 4. Секреты по сервисам
Значения секретов из `.env` сопоставлены с окружением каждого сервиса в
`docker compose config` (разовый скрипт). Печатаются только имена:
Разовый скрипт `secrets_by_config.py` (scratchpad). `.env` он не читает:
значение каждого секрета берёт у сервиса-носителя в `docker compose
config` (например, `S3_ROOT_ACCESS_KEY` — `AWS_ACCESS_KEY_ID` сервиса
`s3`) и ищет его в окружении всех сервисов. Все семь значений разные.
Печатаются только имена:
```
$ docker compose config --format json | secrets_by_config.py
api: POSTGRES_PASSWORD as DATABASE__PASSWORD, VALKEY_PASSWORD as CACHE__PASSWORD, S3_API_ACCESS_KEY as S3__ACCESS_KEY_ID, S3_API_SECRET_KEY as S3__SECRET_ACCESS_KEY
haproxy: -
migrate: POSTGRES_PASSWORD as DATABASE__PASSWORD
@@ -175,11 +220,13 @@ valkey: VALKEY_PASSWORD as VALKEYCLI_AUTH, VALKEY_PASSWORD as VALKEY_PASSWORD
```
$ docker compose exec -T s3 sh -c 'netstat -tn | awk "NR>2 {print \$5}" | sed "s/:[0-9]*$//" | sort | uniq -c'
223 127.0.0.1
13 ::ffff:127.0.0.1
18 ::ffff:192.168.0.1
169 127.0.0.1
12 ::ffff:127.0.0.1
12 ::ffff:192.168.0.1
$ docker network inspect mtusi-lab4_default --format '{{range .IPAM.Config}}{{.Subnet}} {{.Gateway}}{{end}}'
192.168.0.0/20 192.168.0.1
```
Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз
(через него приходят запросы с опубликованного порта хоста). Других
Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз:
через него приходят запросы с опубликованного порта хоста. Других
адресов нет. В описании сервиса — `-master.telemetry=false`.
+112 -37
View File
@@ -1,18 +1,19 @@
# Рестарт стенда с S3 и SIGKILL сервера S3
# Рестарт стенда с S3, первая запись после healthy и SIGKILL сервера S3
- Дата: 2026-10-20, 17:17–17:18 UTC.
- Commit: `2e997f9`.
- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop
29.8.2, compose 5.5.1, Apple M3 Pro.
- Дата: 2026-10-20, 18:25–18:32 UTC.
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker
Desktop 29.8.2, compose 5.5.1, Apple M3 Pro.
- Спек `container-run`: «Рестарт hook-ом»; `object-storage`: «Рестарт
стенда», «Принудительное завершение». Design change `s3-storage`,
решение 9.
стенда», «Принудительное завершение», «Первая запись после healthy»,
«Остановка сервера». Design change `s3-storage`, решения 1, 9 и
«Уточнения apply», п. 8.
- Публичный `make test-persistence` до change `attachments` красный: он
загружает вложение до вызова hook (design, Context). Поэтому hook
проверен напрямую.
- Объекты пишет и читает клиент приложения `src/infra/s3` в консоли
(`persist_probe.py`, scratchpad) ключом API. Размеры объектов —
200 000 + i × 50 000 байт.
(`persist_probe.py`, `first_write.py`, scratchpad) ключом API. Размеры
объектов `persist_probe.py` — 200 000 + i × 50 000 байт.
## 1. `scripts/restart.sh`
@@ -20,54 +21,57 @@
$ persist_probe.py write 3
written and confirmed: 3 objects
--- before
mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:09:56.87103075Z running
mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:09:56.957602042Z running
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:09:57.069310542Z running
mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:14:53.472596304Z exited
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:09:49.559951594Z running
mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:16:21.637346137Z running
mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:15:30.66585646Z exited
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:09:49.272486844Z running
mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:24:50.487701511Z running
mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:24:50.566243511Z running
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:39:52.595685345Z running
mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:24:48.331502718Z exited
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:39:29.787738376Z running
mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:09:29.991872709Z running
mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:24:48.250103551Z exited
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:39:29.760681585Z running
$ time scripts/restart.sh
exit=0, 25 s
exit=0, 24 s
--- after
mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:17:47.007431801Z running
mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:17:47.076103343Z running
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:17:47.188104885Z running
mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:17:44.385383967Z exited
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:17:24.183151596Z running
mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:17:39.223372464Z running
mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:17:44.2638513Z exited
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:17:24.158704555Z running
$ docker compose logs --since 60s --no-log-prefix s3-bootstrap
mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:25:44.219750924Z running
mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:25:44.306628049Z running
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T18:25:44.411630841Z running
mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:25:41.455557798Z exited
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T18:25:21.474698136Z running
mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:25:36.474543254Z running
mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:25:41.611018257Z exited
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T18:25:21.447281886Z running
$ docker compose logs --no-log-prefix s3-bootstrap (запуск после рестарта)
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
health/ready via LB: {"status":"ok"}
$ persist_probe.py verify
read back with the same SHA-256: 3/3; deleted
hook output lines with secret|password|key=: 0
```
- Перезапущены LB, обе реплики, PostgreSQL, Valkey и S3: ID контейнеров
прежние, `StartedAt` у всех новый. `migrate` и `s3-bootstrap` снова
выполнены как зависимости `start api`.
- Hook занял 25 с при сроке 90 с, из них ~15 с — плавная остановка
- Hook занял 24 с при сроке 90 с, из них ~15 с — плавная остановка
SeaweedFS (`stop_grace_period: 20s`).
- Bootstrap после рестарта ничего не изменил («exists»), объекты
прочитаны с тем же SHA-256.
- В выводе hook нет ни `secret`, ни `password`, ни `key=`: grep по нему
дал 0 строк.
- Сразу после возврата hook LB ответил 503 «No API replica is available»:
реплики ещё стартовали. Готовность hook не ждёт, её ждёт сам тест
(`docker.md`, `scripts/restart.sh`). Через полминуты `GET /health/ready`
через LB — `{"status":"ok"}`, все сервисы `healthy`.
- В выводе hook нет ни `secret`, ни `password`, ни `key=`.
## 2. Плавная остановка S3
Из пробы клиента (`client.md`, 17:16):
```
docker compose stop s3: 15.6 s
docker compose stop s3: 15.3 s
ExitCode 0, OOMKilled false
up --wait s3: healthy
```
Тот же стенд в apply (2026-10-20): `docker compose stop s3` — 15 с,
`ExitCode 0`, `OOMKilled false`. SIGKILL по сроку не понадобился.
Сервер завершился сам за 15,3 с при `stop_grace_period: 20s`, код 0:
SIGKILL по сроку не понадобился.
## 3. SIGKILL сразу после подтверждённых записей
@@ -76,10 +80,81 @@ $ persist_probe.py write 20 && docker kill -s KILL mtusi-lab4-s3-1
written and confirmed: 20 objects
after kill: status exited, exit 137
$ docker compose up -d --wait s3
healthy in 3 s
healthy in 5 s
$ persist_probe.py verify
read back with the same SHA-256: 20/20; deleted
```
Все 20 подтверждённых объектов пережили SIGKILL процесса. Отказ диска или
ВМ этим не покрыт: одна нода без реплик (`REPORT.md`, «Ограничения»).
## 4. Первая запись после `healthy`
Находка verify W1: healthcheck проверял master, filer и шлюз, но не
регистрацию тома у master. Тогда `healthy` иногда наступал раньше, чем
том мог принять запись, и первая запись ждала его до 4,8 с при сроке
вызова клиента 5 с. С `f57635a` healthcheck ещё и ждёт непустой
`DataNodes` в `/dir/status` master.
### Шкала старта
`ev8_timeline.sh` (scratchpad): `docker compose stop s3` + `start`, затем
раз в ~0,6 с — прежняя проверка (master, filer, шлюз), регистрация тома и
статус healthcheck Docker.
```
0.0 s: master+filer+gateway=no data_node=no docker=starting
0.6 s: master+filer+gateway=no data_node=no docker=starting
1.1 s: master+filer+gateway=no data_node=no docker=starting
1.7 s: master+filer+gateway=no data_node=yes docker=starting
2.3 s: master+filer+gateway=no data_node=yes docker=starting
2.9 s: master+filer+gateway=no data_node=yes docker=starting
3.5 s: master+filer+gateway=yes data_node=yes docker=starting
4.2 s: master+filer+gateway=yes data_node=yes docker=healthy
summary: old check passes at 3.5s, data node registered at 1.7s, docker healthy at 4.2s
summary: old check passes at 3.4s, data node registered at 6.9s, docker healthy at 7.5s
summary: old check passes at 3.4s, data node registered at 1.7s, docker healthy at 4.1s
```
Во втором из трёх стартов том зарегистрировался через 6,9 с, на 3,5 с
позже прежней проверки: прежний `healthy` пришёлся бы на это окно.
Теперь `healthy` ждёт регистрацию.
### Время первой записи
`first_write.py` (scratchpad): запись, затем рестарт `s3` (`docker compose
restart s3`, 12 раз) или `docker kill -s KILL` (6 раз) и `docker compose
up -d --wait s3`, сразу первая и вторая запись. Срок вызова на время
пробы — 30 с (`S3__TIMEOUT_SECONDS=30`), чтобы видеть ожидание, а не
таймаут.
```
restart #1: healthy after 20.2s, first put 24 ms, second 6 ms
restart #2: healthy after 18.6s, first put 17 ms, second 4 ms
restart #3: healthy after 18.5s, first put 12 ms, second 11 ms
restart #4: healthy after 23.0s, first put 21 ms, second 5 ms
restart #5: healthy after 19.2s, first put 23 ms, second 6 ms
restart #6: healthy after 23.2s, first put 15 ms, second 3 ms
restart #7: healthy after 20.1s, first put 15 ms, second 3 ms
restart #8: healthy after 19.6s, first put 13 ms, second 4 ms
restart #9: healthy after 23.2s, first put 27 ms, second 6 ms
restart #10: healthy after 19.7s, first put 13 ms, second 3 ms
restart #11: healthy after 23.3s, first put 20 ms, second 3 ms
restart #12: healthy after 20.1s, first put 23 ms, second 6 ms
kill #1: healthy after 7.9s, first put 23 ms, second 6 ms
kill #2: healthy after 3.9s, first put 21 ms, second 7 ms
kill #3: healthy after 3.9s, first put 11 ms, second 5 ms
kill #4: healthy after 3.9s, first put 16 ms, second 4 ms
kill #5: healthy after 3.9s, first put 11 ms, second 4 ms
kill #6: healthy after 3.9s, first put 17 ms, second 7 ms
```
- Первая запись после `healthy` — 11–27 мс во всех 18 случаях, при сроке
вызова 5 с.
- `healthy after` при рестарте включает плавную остановку (~15 с).
- До правки тот же скрипт на прежнем healthcheck (2026-10-20, ~18:00
UTC, код `7d340c0`): 8 рестартов, первая запись в двух — 4771 и 2523 мс,
в остальных 9–16 мс. Verify: в 3 из 12 — 4775–4784 мс.
Секретов в выводах нет: `grep -F` значений секретов стенда по выводам
hook, `persist_probe.py` и `first_write.py` — 0 совпадений.
+46 -29
View File
@@ -1,13 +1,15 @@
# `make failure_checks` со своим S3
- Дата: 2026-10-20, 17:21:58–17:23:29 UTC.
- Commit: `2e997f9`.
- Дата: 2026-10-20, 18:35:12–18:37:20 UTC.
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд отказов: проект `mtusi-lab4-failures` (Postgres, Valkey, S3 с
bootstrap, без портов хранилищ), два API на `127.0.0.1`. Рабочий стенд
`mtusi-lab4` в это время запущен. Docker Desktop 29.8.2, Apple M3 Pro.
- Новая проверка change `s3-storage` —
`test_readiness_without_object_storage`: спек `health`, «Хранилище
объектов недоступно».
`test_readiness_without_object_storage[stop|pause]`: спек `health`,
«Хранилище объектов недоступно». Вариант `pause` добавлен по находке
verify S3. Проба hook после `unpause` и `start` — та же команда, что
healthcheck `s3`, с регистрацией тома (находка W1).
## Итог: код 2, пять красных — ожидаемо до change `attachments`
@@ -23,7 +25,7 @@
отправку сообщения. Чинит change `attachments` (ответ пользователя
2026-10-20, `PLAN.md`, `s3-storage`, «Вопросы», п. 2), там этот файл
переснимается зелёным. S3 и стенд отказов здесь ни при чём: остальные
13 проверок, включая новую, прошли.
14 проверок, включая оба варианта новой, прошли.
## Вывод (строки оркестратора и pytest)
@@ -38,28 +40,29 @@ s3-bootstrap-1 | s3-bootstrap: bucket messenger created
s3-bootstrap-1 | s3-bootstrap: user api created
s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:59374 tight=http://127.0.0.1:59382
[failure_checks] ready: api=http://127.0.0.1:54756 tight=http://127.0.0.1:54761
[failure_checks] pytest -m fault
student-tests/test_failures.py::test_expired_token PASSED [ 5%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 11%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 16%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 22%]
student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 27%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 33%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 38%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 44%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 50%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 55%]
student-tests/test_failures.py::test_readiness_without_object_storage PASSED [ 61%]
student-tests/test_failures.py::test_flush_cache PASSED [ 66%]
student-tests/test_failures.py::test_valkey_stopped FAILED [ 72%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 77%]
student-tests/test_failures.py::test_valkey_back PASSED [ 83%]
student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 88%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 10%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 15%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 21%]
student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 26%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 31%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 36%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 42%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 47%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 52%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 57%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 63%]
student-tests/test_failures.py::test_flush_cache PASSED [ 68%]
student-tests/test_failures.py::test_valkey_stopped FAILED [ 73%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 78%]
student-tests/test_failures.py::test_valkey_back PASSED [ 84%]
student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 89%]
student-tests/test_failures.py::test_database_outage_keeps_key_free FAILED [ 94%]
student-tests/test_failures.py::test_key_free_after_ttl FAILED [100%]
=========== 5 failed, 13 passed, 142 deselected in 69.48s (0:01:09) ============
[failure_checks] postgres log: 380 lines, crash markers 0; "too many clients" 25, "administrator command" 129
=========== 5 failed, 14 passed, 142 deselected in 69.63s (0:01:09) ============
[failure_checks] postgres log: 381 lines, crash markers 0; "too many clients" 26, "administrator command" 129
[failure_checks] last 50 lines of mtusi-lab4-failures-api
[failure_checks] last 50 lines of mtusi-lab4-failures-api-tight
[failure_checks] cleanup
@@ -69,6 +72,19 @@ exit=2
Журналы API стенда отказов, которые печатает оркестратор, здесь опущены.
## Только проверки S3
```
$ make failure_checks FAULT_ARGS='-k object_storage'
s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 50%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [100%]
====================== 2 passed, 159 deselected in 7.71s =======================
[failure_checks] postgres log: 57 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
```
## Уборка и рабочий стенд
```
@@ -82,9 +98,10 @@ left: containers 0, volumes 0
## Новая проверка
`test_readiness_without_object_storage`: hook останавливает `s3` стенда
отказов (`stop_grace_period: 2s`). `GET /health/ready` и `GET
/health/live` отвечают 200 `{"status": "ok"}` быстрее 1 с, после этого
`s3` запускается снова. Отдельный прогон `make failure_checks
FAULT_ARGS='-k object_storage'` в apply: `1 passed`, код 0, стенд отказов
убран, у рабочего стенда прежний `StartedAt`.
`test_readiness_without_object_storage[stop|pause]`: hook останавливает
(`stop_grace_period: 2s`) или замораживает (`docker pause`) `s3` стенда
отказов. `GET /health/ready` и `GET /health/live` отвечают 200
`{"status": "ok"}` быстрее 1 с, затем `s3` возвращается (`start` или
`unpause` с пробой healthcheck). При `pause` соединение с S3 есть, а
ответа нет: проверка, которая всё же ходила бы в S3, ждала бы срока
вызова (5 с), а не отказа соединения.
+65 -18
View File
@@ -1,12 +1,13 @@
# `make test_isolated`: уборка объектов S3 временной базы
- Дата: 2026-10-20, 17:23:36–17:25:14 UTC.
- Commit: `2e997f9`.
- Стенд: рабочий `mtusi-lab4` (`make run_docker`). Временная база
`test_messenger`, S3 и Valkey стенда общие.
- Дата: 2026-10-20, 18:39:04–18:42:42 UTC.
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
- Стенд: рабочий `mtusi-lab4` (`make run_docker` с этого commit).
Временная база `test_messenger`, S3 и Valkey стенда общие. Раздел 3 —
временный стенд (ниже).
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
Design change `s3-storage`, решение 9.
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
## Итог прогона: код 2, красное — ожидаемо до change `attachments`
@@ -14,29 +15,33 @@
контракта лабы 4 требует поле `attachment_ids`, которого в коде лабы 3
нет. Загрузки вложения тоже ещё нет.
- `make student_test EXPECT_REPLICAS=1`: `30 failed, 106 passed, 4
skipped, 18 deselected, 2 errors`.
skipped, 19 deselected, 2 errors`.
- 29 упавших и 2 ошибки фикстуры (`test_tampered_cursor`) — с одной
причиной: `Message` / `MessagePage schema: 'attachment_ids' is a
required property`.
- Ещё одна — `test_exclusion_evidence_exists`: файлы исключений сверки
покрытия снимаются заново на стенде лабы 4, после `attachments`.
- `test_every_scenario_is_covered` прошёл.
- `19 deselected` вместо прежних 18: проверка отказов
`test_readiness_without_object_storage` стала двумя (`stop`, `pause`),
а тесты `fault` здесь не выполняются.
Список совпадает с уточнённым в шапке `tasks.md` change `s3-storage`.
Чинит change `attachments` (ответ пользователя 2026-10-20, `PLAN.md`),
там прогон переснимается зелёным.
## Уборка префикса
## 1. Уборка префикса
Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`)
записаны объекты `test_messenger/probe` (будто хвост прошлого прогона) и
`messenger/probe` (рабочая база).
Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`,
scratchpad) записаны объекты `test_messenger/probe` (будто хвост прошлого
прогона) и `messenger/probe` (рабочая база).
```
$ prefix_probe.py put
test_messenger/probe: present
messenger/probe: present
$ make test_isolated
exit=2
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ container=mtusi-lab4-test-api base_url=http://127.0.0.1:18088
[test_isolated] remove objects /buckets/messenger/test_messenger/
[test_isolated] build image
@@ -47,39 +52,81 @@ $ make test_isolated
[test_isolated] make test
FAIL: response: missing required fields
[test_isolated] make student_test
= 30 failed, 106 passed, 4 skipped, 18 deselected, 2 errors in 81.02s (0:01:21) =
[test_isolated] last 50 lines of mtusi-lab4-test-api
= 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 68.42s (0:01:08) =
[test_isolated] cleanup
[test_isolated] remove objects /buckets/messenger/test_messenger/
[test_isolated] results: {'test': 2, 'student_test': 2}
exit=2
$ prefix_probe.py show
test_messenger/probe: absent
messenger/probe: present
```
- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Объект
рабочей базы на месте, затем удалён вручную.
- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Обе
уборки проверены `fs.ls` (раздел 3): «cleanup failed» в выводе нет.
Объект рабочей базы на месте, затем удалён вручную.
- База `test_messenger` удалена (`pg_database`: 0 строк), тестового
контейнера нет.
## `KEEP_TEST_DB=1` (apply, 2026-10-20, тот же код)
## 2. `KEEP_TEST_DB=1`
Объект `test_messenger/probe` записан, пока шёл прогон (после строки
`ready`):
```
$ make test_isolated KEEP_TEST_DB=1 (probe put after "ready")
exit=2
[test_isolated] remove objects /buckets/messenger/test_messenger/
[test_isolated] ready
…
= 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 69.75s (0:01:09) =
[test_isolated] cleanup
[test_isolated] kept database test_messenger and objects /buckets/messenger/test_messenger/
[test_isolated] results: {'test': 2, 'student_test': 2}
$ prefix_probe.py show
test_messenger/probe: present
messenger/probe: present
```
Префикс и база остались, команда напечатала оба. Потом их убрали вручную:
`DROP DATABASE` и `weed shell fs.rm -r`.
Префикс и база остались, команда напечатала оба. Затем их убрали
вручную: `DROP DATABASE test_messenger`, `prefix_probe.py delete` и
`weed shell` `fs.rm -r /buckets/messenger/test_messenger`. После этого в
bucket — только префикс `messenger`.
Префикс собирается только из имени, прошедшего `^test_[a-z0-9_]+$`, и
проверенного имени bucket (`run_isolated.py`, `object_prefix`). Иначе —
код 2 до любых действий.
## 3. Неудачная уборка замечается
Находка verify S2: `weed shell` выходит с кодом 0 и при ошибке команды,
поэтому прежний `remove_objects` не замечал неудачной уборки. С
`f57635a` он разбирает строки `rm:` (кроме «no entry is found» —
префикса нет) и проверяет пустой `fs.ls` префикса. Иначе —
`RuntimeError`: в начале прогона это код 1 до тестов, в уборке —
«cleanup failed» и код 1.
Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без
volumes), порт `127.0.0.1:18334`. Bootstrap прошёл, объект `test_x/probe`
записан ключом API. `s2_check.py` (scratchpad) вызывает `remove_objects`
из `run_isolated.py` против этого проекта (`COMPOSE_PROJECT_NAME`,
`COMPOSE_FILE`) в трёх вариантах:
- команда `weed shell` для `fs.rm` направлена на недоступный filer;
- `fs.rm` подменена на путь, которого нет, и ничего не удаляет;
- настоящая уборка.
После проверки стенд удалён (`down`).
```
$ weed shell: fs.rm -r via unavailable filer, then exit code
rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused"
weed shell exit=0
$ s2_check.py
filer unavailable: RuntimeError: objects /buckets/messenger/test_x/ not removed: rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused"
nothing removed: RuntimeError: objects /buckets/messenger/test_x/ not removed: 1 entries left
real cleanup: removed, fs.ls -> ''
```
- Ошибка `fs.rm` при коде 0 `weed shell` теперь — исключение с первой
строкой ошибки.
- Объект, который `fs.rm` не удалил, находит `fs.ls`.
- Настоящая уборка проходит, префикс пуст.
+1 -1
View File
@@ -325,7 +325,7 @@ compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не созд
test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4`
работает. Затем показать изменения, предложить сообщение коммита и
остановиться: evidence снимается с закоммиченного кода.
- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
- [x] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
датой, commit и стендом:
- `evidence/s3/restart.md` — первая запись после рестарта и `kill`
(`first_write.py`);