docs: re-capture s3-storage evidence after verify fixes
- evidence/s3 and evidence/tests re-captured from f57635a: first write
after healthy, deleted bucket, netstat-based port check, readiness
with s3 paused, prefix cleanup check
- PLAN: HEAD on a deleted bucket is an accepted limitation
- KNOWN_ISSUES: bootstrap after a manual bucket delete
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -20,3 +20,22 @@
|
||||
измеряемого изменения (сейчас `5d5d8f9`, перенос кода лабы 3), а в
|
||||
`bench.md` — правило менять его при переходе в следующую лабу
|
||||
(раздел «Переход в следующую лабу» AGENTS.md).
|
||||
|
||||
## Bootstrap после удаления bucket: «api key put (code 500)»
|
||||
|
||||
- **Где:** `infra/s3/bootstrap.sh` (режим `apply`), SeaweedFS 4.48.
|
||||
- **Что:** на временном стенде bucket удалили вручную, повторный
|
||||
bootstrap написал «bucket created», затем «FAILED: api key put (code
|
||||
500)». Предположение: SeaweedFS не принимает запись в заново созданный
|
||||
bucket с тем же именем сразу после удаления. Причина не установлена:
|
||||
контейнер S3 в тот момент мог перезапускаться. Найдено в правках по
|
||||
verify change `s3-storage` (2026-10-20), в evidence не входит.
|
||||
- **Чем грозит:** восстановление стенда после удаления bucket мимо API
|
||||
не проходит одним повтором bootstrap. Штатный путь (bucket не
|
||||
удаляют) не затронут.
|
||||
- **Предложение:** воспроизвести на свежем стенде (`fs.rm` / `s3.bucket.delete`,
|
||||
затем `docker compose run --rm s3-bootstrap`). Если повторяется —
|
||||
bootstrap после создания bucket ждёт, пока проверочная запись пройдёт
|
||||
(повтор с ограниченным сроком), и описать это в `docker.md`. Удобно
|
||||
разобрать в change `track2-reconciler`: там ошибки на стороне S3
|
||||
вносятся намеренно.
|
||||
|
||||
@@ -591,3 +591,15 @@ design) и «Вопросы» (ждут ответа; ответ дописыв
|
||||
**Ответ пользователя 2026-10-20:** в change `attachments`: он
|
||||
добавляет миграцию, и rollout со старого образа на новую схему — нужное
|
||||
evidence. До тех пор запись остаётся в `KNOWN_ISSUES.md`.
|
||||
4. HEAD при удалённом bucket даёт `None`, как отсутствующий ключ:
|
||||
SeaweedFS отвечает на HEAD одним и тем же 404 без тела (решение 21,
|
||||
design «Уточнения apply» п. 10). Нужен ли лишний GET `Range:
|
||||
bytes=0-0` на каждый промах, чтобы их различить?
|
||||
|
||||
**Ответ основной сессии 2026-10-20:** нет, ограничение принято.
|
||||
Удалённый bucket видят `put`, `open` и `delete` (503), а также
|
||||
bootstrap и `make s3_check`. Лишний запрос на каждый промах не нужен.
|
||||
Правило для следующих changes: промах `head` не основание для
|
||||
разрушающего решения (удалить строку, пометить вложение потерянным)
|
||||
без проверки, что bucket на месте. Это учитывают `upload-consistency`
|
||||
и reconciler трека 2.
|
||||
|
||||
@@ -149,8 +149,11 @@ compose up -d s3-bootstrap` или `make run_docker`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Строки S3 (change `s3-storage`) сняты с commit `2e997f9` на стенде `make
|
||||
run_docker`, если не сказано иное.
|
||||
Строки S3 (change `s3-storage`) сняты на стенде `make run_docker`, если
|
||||
не сказано иное: `evidence/s3/restart.md`, `client.md`, `privacy.md`,
|
||||
`evidence/tests/failure-checks.md` и `test-isolated-s3-cleanup.md` — с
|
||||
commit `f57635a` (правки по verify), остальные файлы `evidence/s3/` — с
|
||||
`2e997f9`.
|
||||
|
||||
**До change `attachments` красные:**
|
||||
- публичный smoke, `make test-persistence` и `make test-failover`: они
|
||||
@@ -166,13 +169,13 @@ run_docker`, если не сказано иное.
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO после `attachments`; сейчас `FAIL: response: missing required fields` (нет `attachment_ids`) | `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «3»: S3-сервер в общем стенде, закреплённая версия | `make run_docker`, `docker compose ps` | `s3` на `chrislusf/seaweedfs:4.48@sha256:…` в состоянии `healthy`, `s3-bootstrap` — `Exited (0)`, реплики стартуют после него | `evidence/s3/privacy.md` (раздел 3), `evidence/s3/bootstrap.md` (раздел 1) |
|
||||
| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 25 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL | `evidence/s3/restart.md` |
|
||||
| «3»: persistent volume S3 | `scripts/restart.sh`; `docker kill -s KILL` сервера S3 | ID контейнеров прежние, `StartedAt` новый, hook — 24 с; объекты клиента читаются с тем же SHA-256: 3/3 после рестарта, 20/20 после SIGKILL; первая запись после `healthy` — 11–27 мс в 18 рестартах и `kill` (healthcheck ждёт регистрации тома) | `evidence/s3/restart.md` |
|
||||
| «3»: создание приватного bucket описано | `docker compose logs s3-bootstrap` на пустом volume | «bucket messenger created», «user api created», «checks passed» | `evidence/s3/bootstrap.md` (раздел 1), «Архитектура и решения» → «Bootstrap S3» |
|
||||
| «4»: bootstrap идемпотентен | `docker compose run --rm s3-bootstrap` дважды; повтор с новым секретом; `S3_BUCKET=Bad_Bucket` | повтор — «exists», код 0, объекты на месте; новый секрет работает, прежний — 503; ошибка — код 1, «FAILED: bucket create», реплики не стартуют | `evidence/s3/bootstrap.md` |
|
||||
| «4»: отдельные ограниченные credentials API | `make s3_check` (строки `api key …`); секреты по сервисам из `docker compose config` | ключ API: объекты своего bucket — 200 / 204; список, bucket, политика, ACL, чужой bucket — 403; административной пары у API нет | `evidence/s3/privacy.md` (разделы 1, 4) |
|
||||
| «4»: административная консоль не в общей сети | `nc -z` из сети стенда (`make s3_check`); `docker port`; gRPC без токена | открыты только 8333 и 18333; master, filer, volume и admin UI закрыты; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` |
|
||||
| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 52 проверки, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` |
|
||||
| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage`); клиент при `pause` и `stop` S3 | без S3 `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` |
|
||||
| «4»: административная консоль не в общей сети | `make s3_check`: слушающие сокеты контейнера S3 (`netstat`), затем `nc -z` из сети стенда; `docker port`; gRPC без токена | вне loopback слушают только 8333 и 18333; master, filer и volume — только на `127.0.0.1` и из сети закрыты, admin UI не слушает; со служебными серверами на `0.0.0.0` (временный стенд) — код 1 и список лишних портов; на хосте — только `127.0.0.1:8334`; `PutIdentity` без токена — `UNAUTHENTICATED` | `evidence/s3/privacy.md`, `evidence/s3/grpc-admin.md` |
|
||||
| «4»: проверка private bucket вне API | `make s3_check`; затем открыть чтение `s3.anonymous.set -access Read` | 48 проверок, код 0; после открытия чтения — 10 FAIL с названиями; следующий bootstrap закрывает доступ, снова PASS | `evidence/s3/privacy.md` |
|
||||
| «4»: S3 недоступен — ограниченная ошибка, текст работает | `make failure_checks` (`test_readiness_without_object_storage[stop\|pause]`); клиент при `pause` и `stop` S3, без bucket и без прав | без S3 (остановлен или заморожен) `/health/ready` и `/health/live` — 200 быстрее 1 с; вызов клиента — 503 за 1–8 мс (`stop`) или за срок 5 с (`pause`), после возврата проходит; удалённый bucket и отказ в доступе — 503 с записью `error`, а не «объекта нет» (кроме HEAD: 404 без тела) | `evidence/tests/failure-checks.md`, `evidence/s3/client.md` |
|
||||
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; подбор лимитов API — `upload-memory` | `evidence/s3/memory.md` |
|
||||
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
|
||||
| Остальные пункты уровня 3 | TODO (`attachments`) | TODO | TODO |
|
||||
@@ -187,10 +190,12 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 007–5 008 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 9 мс; потерь нет |
|
||||
| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,6 с, код 0; вызов — 503 за 2–8 мс | после `start` первый вызов тем же клиентом проходит |
|
||||
| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 3 с; потерь нет |
|
||||
| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 25 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — |
|
||||
| `docker pause` сервера S3 | вызов клиента — 503 не позже срока 5 с | 5 004–5 005 мс, `TimeoutError` → 503, без повторов | после `unpause` следующий вызов — 8 мс; потерь нет |
|
||||
| `docker compose stop s3` | плавная остановка без SIGKILL; вызовы — 503 сразу | остановка 15,3 с, код 0; вызов — 503 за 1–8 мс | после `start` первый вызов тем же клиентом проходит (29 мс) |
|
||||
| SIGKILL сервера S3 сразу после 20 подтверждённых PUT | подтверждённое не теряется | 20/20 с тем же SHA-256 | `healthy` через 5 с; потерь нет |
|
||||
| `scripts/restart.sh` | все хранилища и реплики перезапущены, данные целы | 24 с; bootstrap — «exists»; 3/3 объекта с тем же SHA-256 | — |
|
||||
| Рестарт и SIGKILL S3, сразу первая запись | запись не ждёт регистрации тома после `healthy` | до правки healthcheck — 2 из 8 рестартов ждали 4 771 и 2 523 мс (срок 5 с); после — 11–27 мс в 12 рестартах и 6 `kill` | — |
|
||||
| Bucket удалён мимо bootstrap | 503 и `error`, а не «объекта нет» | `put`, `open`, `delete` — 503, «bucket is missing» / «denied access»; `head` — `None` (404 без тела, ограничение принято) | — |
|
||||
| Неверный секрет API у приложения | 503 и запись `error` без секрета | `SignatureDoesNotMatch` → 503, одна запись `error` | — |
|
||||
| 20 одновременных PUT по 10 MiB | без OOM | анонимная память не больше 379 MiB; последний PUT подтверждён через 7,2 с (очередь лимита загрузок 64 МБ) | — |
|
||||
|
||||
|
||||
+138
-37
@@ -1,29 +1,31 @@
|
||||
# Клиент S3 приложения: операции, отказы, отказ в учётных данных
|
||||
# Клиент S3 приложения: операции, отказы, отказ в учётных данных и в доступе
|
||||
|
||||
- Дата: 2026-10-20, 17:15–17:16 UTC.
|
||||
- Commit: `2e997f9`.
|
||||
- Стенд: `make run_docker`, проект `mtusi-lab4`. Клиент запущен в
|
||||
консоли (`uv run python`, настройки из `.env` и `config.toml` по
|
||||
умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3]
|
||||
timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов.
|
||||
- Скрипт `probe_client.py` (scratchpad) вызывает `src.infra.s3`
|
||||
- Дата: 2026-10-20, 18:32–18:34 UTC.
|
||||
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Клиент
|
||||
запущен в консоли (`uv run python`, настройки из `.env` и `config.toml`
|
||||
по умолчанию): `127.0.0.1:8334`, bucket `messenger`, `[s3]
|
||||
timeout_seconds` 5, `connect_timeout_seconds` 1, без повторов. Раздел 4
|
||||
— ещё и временный стенд (ниже).
|
||||
- Скрипты (scratchpad): `probe_client.py` вызывает `src.infra.s3`
|
||||
(`ObjectStorage`) и docker compose (`pause`, `stop`, `start` сервиса
|
||||
`s3`).
|
||||
`s3`); `s1_check.py` — `head`, `open`, `delete`, `put` отсутствующего
|
||||
ключа и записи журнала.
|
||||
- Спек `object-storage`: «Клиент хранилища в приложении» — «S3
|
||||
остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Учётные данные
|
||||
отклонены»; `service-logging`: «Обращение к S3». Design change
|
||||
`s3-storage`, решение 7.
|
||||
остановлен», «S3 завис», «S3 вернулся», «Объекта нет», «Bucket нет»,
|
||||
«Учётные данные отклонены»; `service-logging`: «Обращение к S3». Design
|
||||
change `s3-storage`, решение 7 и «Уточнения apply», п. 10.
|
||||
- Hostname машины в поле `instance_id` заменён на `<host>`.
|
||||
|
||||
## 1. Операции
|
||||
|
||||
```
|
||||
$ uv run python probe_client.py ops
|
||||
put 3 MiB: ok in 139 ms
|
||||
put 3 MiB: ok in 95 ms
|
||||
head: ok in 3 ms
|
||||
head: size=3145745 content_type=image/png
|
||||
open: size=3145745 content_type=image/png
|
||||
open+read: ok in 63 ms
|
||||
open+read: ok in 36 ms
|
||||
sha256 equal: True
|
||||
delete: ok in 2 ms
|
||||
head missing -> None
|
||||
@@ -38,34 +40,35 @@ delete missing: ok in 1 ms
|
||||
|
||||
```
|
||||
$ uv run python probe_client.py outage
|
||||
healthy put: ok in 15 ms
|
||||
healthy put: ok in 24 ms
|
||||
timeout_seconds=5.0
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:00.590525Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
|
||||
paused put: ObjectStorageUnavailable in 5008 ms
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T17:16:05.598635Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
|
||||
paused head: ObjectStorageUnavailable in 5007 ms
|
||||
unpaused put: ok in 9 ms
|
||||
docker compose stop s3: 15.6 s
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.444762Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:35.180408Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
|
||||
paused put: ObjectStorageUnavailable in 5005 ms
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 5003, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-20T18:32:40.185455Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
|
||||
paused head: ObjectStorageUnavailable in 5004 ms
|
||||
unpaused put: ok in 8 ms
|
||||
docker compose stop s3: 15.3 s
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 7, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.677244Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
|
||||
stopped put: ObjectStorageUnavailable in 8 ms
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 2, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T17:16:21.447111Z", "filename": "client.py", "lineno": 348, "func_name": "_failure"}
|
||||
stopped head: ObjectStorageUnavailable in 2 ms
|
||||
started put: ok in 18 ms
|
||||
started delete: ok in 7 ms
|
||||
{"event": "Object storage is unavailable", "instance_id": "<host>", "module": "object_storage", "operation": "head_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/outage", "duration_ms": 1, "error_type": "EndpointConnectionError", "level": "warning", "timestamp": "2026-10-20T18:32:55.678976Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
|
||||
stopped head: ObjectStorageUnavailable in 1 ms
|
||||
started put: ok in 29 ms
|
||||
started delete: ok in 6 ms
|
||||
```
|
||||
|
||||
- Сервер заморожен (`docker pause`): вызов обрывается сроком через
|
||||
5,007–5,008 с при сроке 5 с, повторов нет.
|
||||
- Сервер остановлен: отказ соединения за 2–8 мс, это меньше 0,1 с.
|
||||
5,004–5,005 с при сроке 5 с, повторов нет.
|
||||
- Сервер остановлен: отказ соединения за 1–8 мс, это меньше 0,1 с.
|
||||
- После `unpause` и `start` следующий вызов проходит тем же клиентом,
|
||||
без пересоздания.
|
||||
без пересоздания. Первая запись после `start` и `up --wait` — 29 мс:
|
||||
`healthy` ждёт регистрации тома (`restart.md`, раздел 4).
|
||||
|
||||
## 3. Неверный секрет — 503 и одна запись `error`
|
||||
|
||||
```
|
||||
$ uv run python probe_client.py wrong-secret
|
||||
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 13, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T17:16:27.071569Z", "func_name": "_failure", "lineno": 332, "filename": "client.py"}
|
||||
wrong secret put: ObjectStorageUnavailable in 13 ms
|
||||
{"event": "Object storage rejected credentials", "instance_id": "<host>", "module": "object_storage", "error_code": "SignatureDoesNotMatch", "operation": "put_object", "endpoint": "127.0.0.1:8334", "bucket": "messenger", "key": "messenger/probe/wrong", "duration_ms": 10, "error_type": "ClientError", "level": "error", "timestamp": "2026-10-20T18:33:04.228972Z", "lineno": 354, "filename": "client.py", "func_name": "_failure"}
|
||||
wrong secret put: ObjectStorageUnavailable in 10 ms
|
||||
```
|
||||
|
||||
`ObjectStorageUnavailable` — наследник `ServiceUnavailable`: таблица
|
||||
@@ -76,17 +79,115 @@ $ uv run python -c "from src.api.errors import DOMAIN_ERRORS; from src.core.exce
|
||||
('ServiceUnavailable', (503, <ErrorCode.UNAVAILABLE: 'unavailable'>))
|
||||
```
|
||||
|
||||
## 4. Секретов в журнале нет
|
||||
## 4. Нет bucket, нет прав, неверный секрет, нет ключа
|
||||
|
||||
Значения пяти секретов S3 из `.env` (административные ключ и секрет, ключ
|
||||
подписи, ключ и секрет API) проверены `grep -F` по выводу трёх прогонов:
|
||||
Находка verify S1: прежний клиент считал любой 404 отсутствующим
|
||||
объектом, поэтому удалённый bucket выглядел как «объекта нет», а `delete`
|
||||
вопреки docstring бросал исключение. `AccessDenied` журналировался как
|
||||
«rejected credentials», а HEAD с 403 без тела не переводился (500).
|
||||
|
||||
Удалённый bucket проверен на временном стенде: проект compose
|
||||
`mtusi-lab4-s3fresh` с S3 на tmpfs (без volumes) и портом `127.0.0.1:18334`,
|
||||
тот же `docker-compose.yml` и `.env`. Bootstrap создал bucket и
|
||||
пользователя, затем bucket удалён административной командой мимо
|
||||
bootstrap. После проверки стенд удалён (`down`).
|
||||
|
||||
```
|
||||
secret/key values found in client logs: 0
|
||||
s3-bootstrap: bucket messenger created
|
||||
s3-bootstrap: user api created
|
||||
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
|
||||
$ printf "s3.bucket.delete -name messenger\n" | weed shell (временный стенд)
|
||||
$ printf "s3.bucket.list\n" | weed shell
|
||||
(пусто)
|
||||
```
|
||||
|
||||
В apply тем же способом проверен журнал `make run_dev`, к пяти значениям
|
||||
добавлены пароли PostgreSQL и Valkey: 0 совпадений. Запись старта:
|
||||
Каждая запись журнала ниже сокращена до уровня, `event`, операции и
|
||||
`error_code`; полная запись — как в разделе 3. Пример:
|
||||
|
||||
```
|
||||
{"event": "Object storage bucket is missing", "instance_id": "<host>", "module": "object_storage", "error_code": "NoSuchBucket", "operation": "get_object", "endpoint": "127.0.0.1:18334", "bucket": "messenger", "key": "messenger/verify/s1-missing", "duration_ms": 3, "error_type": "NoSuchBucket", "level": "error", "timestamp": "2026-10-20T18:33:25.550350Z", "filename": "client.py", "func_name": "_failure", "lineno": 345}
|
||||
```
|
||||
|
||||
```
|
||||
$ s1_check.py "deleted bucket" # временный стенд, порт 18334
|
||||
deleted bucket: head -> None
|
||||
log: error 'Object storage bucket is missing' operation=get_object error_code=NoSuchBucket
|
||||
deleted bucket: open -> ObjectStorageUnavailable
|
||||
log: error 'Object storage bucket is missing' operation=delete_object error_code=NoSuchBucket
|
||||
deleted bucket: delete -> ObjectStorageUnavailable
|
||||
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
|
||||
deleted bucket: put -> ObjectStorageUnavailable
|
||||
$ s1_check.py "missing key" # рабочий стенд
|
||||
missing key: head -> None
|
||||
missing key: open -> StoredObjectMissing
|
||||
missing key: delete -> None
|
||||
missing key: put -> None
|
||||
$ S3__BUCKET=nonexistent-bkt s1_check.py "bucket without rights" # рабочий стенд
|
||||
log: error 'Object storage denied access' operation=head_object error_code=403
|
||||
bucket without rights: head -> ObjectStorageUnavailable
|
||||
log: error 'Object storage denied access' operation=get_object error_code=AccessDenied
|
||||
bucket without rights: open -> ObjectStorageUnavailable
|
||||
log: error 'Object storage denied access' operation=delete_object error_code=AccessDenied
|
||||
bucket without rights: delete -> ObjectStorageUnavailable
|
||||
log: error 'Object storage denied access' operation=put_object error_code=AccessDenied
|
||||
bucket without rights: put -> ObjectStorageUnavailable
|
||||
$ S3__SECRET_ACCESS_KEY=wrong s1_check.py "wrong secret" # рабочий стенд
|
||||
log: error 'Object storage denied access' operation=head_object error_code=403
|
||||
wrong secret: head -> ObjectStorageUnavailable
|
||||
log: error 'Object storage rejected credentials' operation=get_object error_code=SignatureDoesNotMatch
|
||||
wrong secret: open -> ObjectStorageUnavailable
|
||||
log: error 'Object storage rejected credentials' operation=delete_object error_code=SignatureDoesNotMatch
|
||||
wrong secret: delete -> ObjectStorageUnavailable
|
||||
log: error 'Object storage rejected credentials' operation=put_object error_code=SignatureDoesNotMatch
|
||||
wrong secret: put -> ObjectStorageUnavailable
|
||||
```
|
||||
|
||||
- Удалённый bucket: `open`, `delete` и `put` — `ObjectStorageUnavailable`
|
||||
(503) с записью `error`. За отсутствующий объект он не выдаётся. PUT в
|
||||
удалённый bucket SeaweedFS отклоняет `AccessDenied`, GET и DELETE —
|
||||
`NoSuchBucket`.
|
||||
- Отсутствующий ключ в своём bucket: `head` → `None`, `open` →
|
||||
`StoredObjectMissing`, `delete` — не ошибка, `put` проходит (объект
|
||||
затем удалён).
|
||||
- Bucket без прав ключа API: все четыре вызова — 503 и «denied access».
|
||||
`head` больше не даёт 500.
|
||||
- Неверный секрет: «rejected credentials» у GET, PUT, DELETE.
|
||||
|
||||
**Ограничение HEAD (принято, `PLAN.md`, `s3-storage`, «Вопросы», п. 4).**
|
||||
У ответа HEAD нет тела, поэтому нет и кода ошибки S3. SeaweedFS отвечает
|
||||
одинаковым 404 и на отсутствующий ключ, и на удалённый bucket:
|
||||
|
||||
```
|
||||
deleted bucket: head_object {'Code': '404', 'Message': 'Not Found'} 404
|
||||
missing key: head_object {'Code': '404', 'Message': 'Not Found'} 404
|
||||
deleted bucket: get_object {'Code': 'NoSuchBucket', ...} 404
|
||||
missing key: get_object {'Code': 'NoSuchKey', ...} 404
|
||||
```
|
||||
|
||||
(`head_headers.py`, scratchpad, 18:10 UTC: ответы сервера через botocore
|
||||
напрямую, без перевода ошибок клиентом; вывод сокращён до кода и
|
||||
статуса, заголовки ответов различаются только `content-length`.) Поэтому
|
||||
`head` удалённого bucket отдаёт `None`, а неверный секрет у HEAD
|
||||
журналируется как «denied access» (403 без кода). Лишний GET `Range:
|
||||
bytes=0-0` на каждый промах, чтобы различить случаи, не делается.
|
||||
Удалённый bucket видят `put`, `open` и `delete` (503), а также bootstrap
|
||||
и `make s3_check`. Промах `head` не должен быть основанием для
|
||||
разрушающего решения без проверки, что bucket на месте. Это учитывают
|
||||
`upload-consistency` и reconciler трека 2.
|
||||
|
||||
## 5. Секретов в журнале нет
|
||||
|
||||
Значения пяти секретов S3 и паролей PostgreSQL и Valkey стенда (из
|
||||
`docker compose config`, значения не печатаются) проверены `grep -F` по
|
||||
выводу всех прогонов разделов 1–4:
|
||||
|
||||
```
|
||||
ev8-client-raw.log bytes 2883 hits 0
|
||||
ev8-s1-raw.log bytes 5834 hits 0
|
||||
```
|
||||
|
||||
Запись старта API (apply, `make run_dev`, тот же клиент) — с адресом и
|
||||
bucket, без ключей:
|
||||
|
||||
```
|
||||
{"event": "Started API", "instance_id": "<host>", "module": "startup", "host": "127.0.0.1", "port": 8080, "run_mode": "<RunModeEnum.CONSOLE: 'console'>", "database_host": "127.0.0.1", "database_port": 5433, "database_name": "messenger", "cache_host": "127.0.0.1", "cache_port": 6380, "s3_host": "127.0.0.1", "s3_port": 8334, "s3_bucket": "messenger", "level": "info", ...}
|
||||
|
||||
+143
-96
@@ -1,113 +1,134 @@
|
||||
# Приватность bucket и изоляция S3 вне API
|
||||
|
||||
- Дата: 2026-10-20, 17:15–17:16 UTC.
|
||||
- Commit: `2e997f9` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop 29.8.2,
|
||||
compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3 Pro. S3 —
|
||||
`chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`.
|
||||
- Дата: 2026-10-20, 18:34–18:35 UTC.
|
||||
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker
|
||||
Desktop 29.8.2, compose 5.5.1, ВМ Docker 12 CPU / 7,75 ГиБ, Apple M3
|
||||
Pro. S3 — `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d`.
|
||||
- Спек `object-storage`: «Проверка приватности вне API», «Запрет
|
||||
анонимного доступа», «Ограниченные учётные данные API», «Служебные
|
||||
интерфейсы вне сети»; спек `container-run`: «Публикация только на
|
||||
localhost», «Секреты по сервисам». Design change `s3-storage`,
|
||||
решения 1, 3, 8.
|
||||
решения 1, 3, 8 и «Уточнения apply», п. 13.
|
||||
|
||||
## 1. `make s3_check`
|
||||
|
||||
Без приложения: bootstrap в режиме `check` (строки `server`), анонимные
|
||||
запросы с хоста на `127.0.0.1:8334` (`host`) и из одноразового
|
||||
контейнера в сети `mtusi-lab4_default` (`network`), порты контейнера S3
|
||||
из сети, затем режим `cleanup` и `weed shell` — остатков нет.
|
||||
Без приложения выполняются:
|
||||
- bootstrap в режиме `check` (строки `server`);
|
||||
- анонимные запросы с хоста на `127.0.0.1:8334` (`host`) и из
|
||||
одноразового контейнера в сети `mtusi-lab4_default` (`network`);
|
||||
- слушающие сокеты контейнера S3 (`netstat -tuln` в нём) и их проверка из
|
||||
сети;
|
||||
- в конце режим `cleanup` и `weed shell`: остатков нет.
|
||||
|
||||
С `f57635a` порты не перечислены заранее (находка verify S4). Порты вне
|
||||
loopback должны совпасть ровно с API S3 и gRPC шлюза. Каждый порт,
|
||||
который слушают только на loopback, проверяется из сети `nc -z` как
|
||||
закрытый.
|
||||
|
||||
```
|
||||
$ make s3_check
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py s3-check
|
||||
S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48
|
||||
where check expected got verdict
|
||||
server anonymous access setting none none ok
|
||||
server api key put object 200 200 ok
|
||||
server api key get object 200 200 ok
|
||||
server api key head object 200 200 ok
|
||||
server api key get missing object 404 404 ok
|
||||
server api key list objects 403 403 ok
|
||||
server api key create bucket 403 403 ok
|
||||
server api key delete bucket 403 403 ok
|
||||
server api key get bucket policy 403 403 ok
|
||||
server api key put bucket policy 403 403 ok
|
||||
server api key get bucket acl 403 403 ok
|
||||
server api key put bucket acl public-read 403 403 ok
|
||||
server api key put object acl public-read 403 403 ok
|
||||
server api key put object to other bucket 403 403 ok
|
||||
server api key get object from other bucket 403 403 ok
|
||||
server api key list other bucket 403 403 ok
|
||||
server api key delete other bucket 403 403 ok
|
||||
server anonymous get object 403 403 ok
|
||||
server anonymous head object 403 403 ok
|
||||
server anonymous get missing object 403 403 ok
|
||||
server anonymous list objects 403 403 ok
|
||||
server anonymous list buckets 403 403 ok
|
||||
server anonymous put object 403 403 ok
|
||||
server anonymous create bucket 403 403 ok
|
||||
host anonymous get object 403 403 ok
|
||||
host anonymous head object 403 403 ok
|
||||
host anonymous get missing object 403 403 ok
|
||||
host anonymous list objects 403 403 ok
|
||||
host anonymous list buckets 403 403 ok
|
||||
host anonymous put object 403 403 ok
|
||||
network anonymous get object 403 403 ok
|
||||
network anonymous head object 403 403 ok
|
||||
network anonymous get missing object 403 403 ok
|
||||
network anonymous list objects 403 403 ok
|
||||
network anonymous list buckets 403 403 ok
|
||||
network anonymous put object 403 403 ok
|
||||
network port 8333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 18333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 9333 closed closed ok
|
||||
network port 19333 closed closed ok
|
||||
network port 8888 closed closed ok
|
||||
network port 18888 closed closed ok
|
||||
network port 8080 closed closed ok
|
||||
network port 18080 closed closed ok
|
||||
network port 23646 closed closed ok
|
||||
network port 8181 closed closed ok
|
||||
network port 9101 closed closed ok
|
||||
network port 7333 closed closed ok
|
||||
network port 8111 closed closed ok
|
||||
network port 6060 closed closed ok
|
||||
server temporary buckets left 0 0 ok
|
||||
server probe objects left 0 0 ok
|
||||
PASS: 52 checks, bucket messenger is private
|
||||
where check expected got verdict
|
||||
server anonymous access setting none none ok
|
||||
server api key put object 200 200 ok
|
||||
server api key get object 200 200 ok
|
||||
server api key head object 200 200 ok
|
||||
server api key get missing object 404 404 ok
|
||||
server api key list objects 403 403 ok
|
||||
server api key create bucket 403 403 ok
|
||||
server api key delete bucket 403 403 ok
|
||||
server api key get bucket policy 403 403 ok
|
||||
server api key put bucket policy 403 403 ok
|
||||
server api key get bucket acl 403 403 ok
|
||||
server api key put bucket acl public-read 403 403 ok
|
||||
server api key put object acl public-read 403 403 ok
|
||||
server api key put object to other bucket 403 403 ok
|
||||
server api key get object from other bucket 403 403 ok
|
||||
server api key list other bucket 403 403 ok
|
||||
server api key delete other bucket 403 403 ok
|
||||
server anonymous get object 403 403 ok
|
||||
server anonymous head object 403 403 ok
|
||||
server anonymous get missing object 403 403 ok
|
||||
server anonymous list objects 403 403 ok
|
||||
server anonymous list buckets 403 403 ok
|
||||
server anonymous put object 403 403 ok
|
||||
server anonymous create bucket 403 403 ok
|
||||
host anonymous get object 403 403 ok
|
||||
host anonymous head object 403 403 ok
|
||||
host anonymous get missing object 403 403 ok
|
||||
host anonymous list objects 403 403 ok
|
||||
host anonymous list buckets 403 403 ok
|
||||
host anonymous put object 403 403 ok
|
||||
server listening outside loopback 8333 18333 8333 18333 ok
|
||||
network anonymous get object 403 403 ok
|
||||
network anonymous head object 403 403 ok
|
||||
network anonymous get missing object 403 403 ok
|
||||
network anonymous list objects 403 403 ok
|
||||
network anonymous list buckets 403 403 ok
|
||||
network anonymous put object 403 403 ok
|
||||
network port 8333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 18333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 8080 (loopback only) closed closed ok
|
||||
network port 8888 (loopback only) closed closed ok
|
||||
network port 9333 (loopback only) closed closed ok
|
||||
network port 18080 (loopback only) closed closed ok
|
||||
network port 18888 (loopback only) closed closed ok
|
||||
network port 19333 (loopback only) closed closed ok
|
||||
network port 44119 (loopback only) closed closed ok
|
||||
server temporary buckets left 0 0 ok
|
||||
server probe objects left 0 0 ok
|
||||
PASS: 48 checks, bucket messenger is private
|
||||
exit=0
|
||||
```
|
||||
|
||||
Слушающие сокеты контейнера S3 в тот же момент:
|
||||
|
||||
```
|
||||
$ docker compose exec -T s3 netstat -tln
|
||||
tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.1:18888 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.1:19333 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.1:9333 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.1:18080 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.11:44119 0.0.0.0:* LISTEN
|
||||
tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN
|
||||
tcp 0 0 :::8333 :::* LISTEN
|
||||
tcp 0 0 :::18333 :::* LISTEN
|
||||
```
|
||||
|
||||
Наблюдения:
|
||||
- аноним получает 403 на существующий и на отсутствующий ключ: наличие
|
||||
объекта не раскрывается;
|
||||
- ключ API читает, пишет и удаляет только объекты своего bucket
|
||||
(отсутствующий ключ — 404). Список, операции с bucket, политика, ACL,
|
||||
публичный ACL объекта и чужой bucket — 403;
|
||||
- закрыты порты master (9333/19333), filer (8888/18888), volume
|
||||
(8080/18080), admin UI (23646), Iceberg (8181), Lance (9101), а также
|
||||
7333, 8111 и pprof (6060). Открыты только API S3 и gRPC шлюза. gRPC
|
||||
шлюза закрыт ключом подписи — `grpc-admin.md`.
|
||||
- вне loopback сервер слушает только 8333 (API S3) и 18333 (gRPC шлюза).
|
||||
Master (9333/19333), filer (8888/18888) и volume (8080/18080) — только на
|
||||
`127.0.0.1`, из сети закрыты. `127.0.0.11:<порт>` — встроенный DNS
|
||||
Docker, порт меняется от контейнера к контейнеру. Admin UI, Iceberg и
|
||||
Lance не слушают вовсе. gRPC шлюза закрыт ключом подписи —
|
||||
`grpc-admin.md`.
|
||||
|
||||
## 2. Нарушение обнаруживается, bootstrap его исправляет
|
||||
|
||||
Анонимное чтение открыто административной командой мимо bootstrap:
|
||||
### Анонимное чтение открыто мимо bootstrap
|
||||
|
||||
```
|
||||
$ printf "s3.anonymous.set -bucket messenger -access Read\n" | docker compose exec -T s3 weed shell
|
||||
Set anonymous access on bucket "messenger" to: Read
|
||||
$ make s3_check (only FAIL lines)
|
||||
server anonymous access setting none Read FAIL
|
||||
server anonymous get object 403 200 FAIL
|
||||
server anonymous head object 403 200 FAIL
|
||||
server anonymous get missing object 403 404 FAIL
|
||||
host anonymous get object 403 200 FAIL
|
||||
host anonymous head object 403 200 FAIL
|
||||
host anonymous get missing object 403 404 FAIL
|
||||
network anonymous get object 403 200 FAIL
|
||||
network anonymous head object 403 200 FAIL
|
||||
network anonymous get missing object 403 404 FAIL
|
||||
server anonymous access setting none Read FAIL
|
||||
server anonymous get object 403 200 FAIL
|
||||
server anonymous head object 403 200 FAIL
|
||||
server anonymous get missing object 403 404 FAIL
|
||||
host anonymous get object 403 200 FAIL
|
||||
host anonymous head object 403 200 FAIL
|
||||
host anonymous get missing object 403 404 FAIL
|
||||
network anonymous get object 403 200 FAIL
|
||||
network anonymous head object 403 200 FAIL
|
||||
network anonymous get missing object 403 404 FAIL
|
||||
FAIL: 10 check(s) failed: server: anonymous access setting; server: anonymous get object; server: anonymous head object; server: anonymous get missing object; host: anonymous get object; host: anonymous head object; host: anonymous get missing object; network: anonymous get object; network: anonymous head object; network: anonymous get missing object
|
||||
exit=2
|
||||
$ docker compose up -d s3-bootstrap; docker compose logs s3-bootstrap (last run)
|
||||
@@ -116,26 +137,46 @@ s3-bootstrap: anonymous access to messenger closed
|
||||
s3-bootstrap: user api exists
|
||||
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
|
||||
$ make s3_check | tail -1
|
||||
PASS: 52 checks, bucket messenger is private
|
||||
exit=0
|
||||
PASS: 48 checks, bucket messenger is private
|
||||
```
|
||||
|
||||
`exit=2` — это код `make`: драйвер вернул 1, и make на ошибке рецепта
|
||||
отвечает 2.
|
||||
|
||||
### Служебные серверы слушают все интерфейсы
|
||||
|
||||
Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без
|
||||
volumes), порт `127.0.0.1:18334`. У `s3` override команды с
|
||||
`-ip.bind=0.0.0.0` вместо `127.0.0.1`. Bootstrap прошёл, затем драйвер
|
||||
запущен против этого проекта (`COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`).
|
||||
После проверки стенд удалён (`down`).
|
||||
|
||||
```
|
||||
$ driver.py s3-check (временный стенд, -ip.bind=0.0.0.0)
|
||||
S3 s3:8333 (host 127.0.0.1:18334), bucket messenger, image chrislusf/seaweedfs:4.48
|
||||
where check expected got verdict
|
||||
server listening outside loopback 8333 18333 8080 8333 8888 9333 18080 18333 18888 19333 FAIL
|
||||
FAIL: 1 check(s) failed: server: listening outside loopback
|
||||
exit=1
|
||||
```
|
||||
|
||||
Остальные 41 проверка — `ok`. Нарушение названо списком портов, а не
|
||||
найдено по заранее известному списку: новый порт нового выпуска
|
||||
SeaweedFS проверка тоже увидит.
|
||||
|
||||
## 3. Публикация портов
|
||||
|
||||
```
|
||||
$ docker compose ps -a
|
||||
SERVICE STATUS PORTS
|
||||
api Up 5 minutes (healthy) 8080/tcp
|
||||
api Up 5 minutes (healthy) 8080/tcp
|
||||
haproxy Up 5 minutes (healthy) 127.0.0.1:8080->8080/tcp
|
||||
migrate Exited (0) 13 seconds ago
|
||||
postgres Up 5 minutes (healthy) 127.0.0.1:5433->5432/tcp
|
||||
s3 Up 5 minutes (healthy) 127.0.0.1:8334->8333/tcp
|
||||
s3-bootstrap Exited (0) 14 seconds ago
|
||||
valkey Up 5 minutes (healthy) 127.0.0.1:6380->6379/tcp
|
||||
api Up 9 minutes (healthy) 8080/tcp
|
||||
api Up 9 minutes (healthy) 8080/tcp
|
||||
haproxy Up 9 minutes (healthy) 127.0.0.1:8080->8080/tcp
|
||||
migrate Exited (0) 9 minutes ago
|
||||
postgres Up 9 minutes (healthy) 127.0.0.1:5433->5432/tcp
|
||||
s3 Up 2 minutes (healthy) 127.0.0.1:8334->8333/tcp
|
||||
s3-bootstrap Exited (0) 52 seconds ago
|
||||
valkey Up 9 minutes (healthy) 127.0.0.1:6380->6379/tcp
|
||||
|
||||
$ docker port (each container)
|
||||
mtusi-lab4-api-1:
|
||||
@@ -153,10 +194,14 @@ mtusi-lab4-valkey-1: 6379/tcp -> 127.0.0.1:6380
|
||||
|
||||
## 4. Секреты по сервисам
|
||||
|
||||
Значения секретов из `.env` сопоставлены с окружением каждого сервиса в
|
||||
`docker compose config` (разовый скрипт). Печатаются только имена:
|
||||
Разовый скрипт `secrets_by_config.py` (scratchpad). `.env` он не читает:
|
||||
значение каждого секрета берёт у сервиса-носителя в `docker compose
|
||||
config` (например, `S3_ROOT_ACCESS_KEY` — `AWS_ACCESS_KEY_ID` сервиса
|
||||
`s3`) и ищет его в окружении всех сервисов. Все семь значений разные.
|
||||
Печатаются только имена:
|
||||
|
||||
```
|
||||
$ docker compose config --format json | secrets_by_config.py
|
||||
api: POSTGRES_PASSWORD as DATABASE__PASSWORD, VALKEY_PASSWORD as CACHE__PASSWORD, S3_API_ACCESS_KEY as S3__ACCESS_KEY_ID, S3_API_SECRET_KEY as S3__SECRET_ACCESS_KEY
|
||||
haproxy: -
|
||||
migrate: POSTGRES_PASSWORD as DATABASE__PASSWORD
|
||||
@@ -175,11 +220,13 @@ valkey: VALKEY_PASSWORD as VALKEYCLI_AUTH, VALKEY_PASSWORD as VALKEY_PASSWORD
|
||||
|
||||
```
|
||||
$ docker compose exec -T s3 sh -c 'netstat -tn | awk "NR>2 {print \$5}" | sed "s/:[0-9]*$//" | sort | uniq -c'
|
||||
223 127.0.0.1
|
||||
13 ::ffff:127.0.0.1
|
||||
18 ::ffff:192.168.0.1
|
||||
169 127.0.0.1
|
||||
12 ::ffff:127.0.0.1
|
||||
12 ::ffff:192.168.0.1
|
||||
$ docker network inspect mtusi-lab4_default --format '{{range .IPAM.Config}}{{.Subnet}} {{.Gateway}}{{end}}'
|
||||
192.168.0.0/20 192.168.0.1
|
||||
```
|
||||
|
||||
Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз
|
||||
(через него приходят запросы с опубликованного порта хоста). Других
|
||||
Подсеть `mtusi-lab4_default` — `192.168.0.0/20`, `192.168.0.1` — её шлюз:
|
||||
через него приходят запросы с опубликованного порта хоста. Других
|
||||
адресов нет. В описании сервиса — `-master.telemetry=false`.
|
||||
|
||||
+112
-37
@@ -1,18 +1,19 @@
|
||||
# Рестарт стенда с S3 и SIGKILL сервера S3
|
||||
# Рестарт стенда с S3, первая запись после healthy и SIGKILL сервера S3
|
||||
|
||||
- Дата: 2026-10-20, 17:17–17:18 UTC.
|
||||
- Commit: `2e997f9`.
|
||||
- Стенд: `make run_docker`, проект `mtusi-lab4`. Docker Desktop
|
||||
29.8.2, compose 5.5.1, Apple M3 Pro.
|
||||
- Дата: 2026-10-20, 18:25–18:32 UTC.
|
||||
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд: `make run_docker` с этого commit, проект `mtusi-lab4`. Docker
|
||||
Desktop 29.8.2, compose 5.5.1, Apple M3 Pro.
|
||||
- Спек `container-run`: «Рестарт hook-ом»; `object-storage`: «Рестарт
|
||||
стенда», «Принудительное завершение». Design change `s3-storage`,
|
||||
решение 9.
|
||||
стенда», «Принудительное завершение», «Первая запись после healthy»,
|
||||
«Остановка сервера». Design change `s3-storage`, решения 1, 9 и
|
||||
«Уточнения apply», п. 8.
|
||||
- Публичный `make test-persistence` до change `attachments` красный: он
|
||||
загружает вложение до вызова hook (design, Context). Поэтому hook
|
||||
проверен напрямую.
|
||||
- Объекты пишет и читает клиент приложения `src/infra/s3` в консоли
|
||||
(`persist_probe.py`, scratchpad) ключом API. Размеры объектов —
|
||||
200 000 + i × 50 000 байт.
|
||||
(`persist_probe.py`, `first_write.py`, scratchpad) ключом API. Размеры
|
||||
объектов `persist_probe.py` — 200 000 + i × 50 000 байт.
|
||||
|
||||
## 1. `scripts/restart.sh`
|
||||
|
||||
@@ -20,54 +21,57 @@
|
||||
$ persist_probe.py write 3
|
||||
written and confirmed: 3 objects
|
||||
--- before
|
||||
mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:09:56.87103075Z running
|
||||
mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:09:56.957602042Z running
|
||||
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:09:57.069310542Z running
|
||||
mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:14:53.472596304Z exited
|
||||
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:09:49.559951594Z running
|
||||
mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:16:21.637346137Z running
|
||||
mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:15:30.66585646Z exited
|
||||
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:09:49.272486844Z running
|
||||
mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:24:50.487701511Z running
|
||||
mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:24:50.566243511Z running
|
||||
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:39:52.595685345Z running
|
||||
mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:24:48.331502718Z exited
|
||||
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:39:29.787738376Z running
|
||||
mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:09:29.991872709Z running
|
||||
mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:24:48.250103551Z exited
|
||||
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:39:29.760681585Z running
|
||||
$ time scripts/restart.sh
|
||||
exit=0, 25 s
|
||||
exit=0, 24 s
|
||||
--- after
|
||||
mtusi-lab4-api-1 7accadadfcdf 2026-10-20T17:17:47.007431801Z running
|
||||
mtusi-lab4-api-2 27dc0f625cba 2026-10-20T17:17:47.076103343Z running
|
||||
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T17:17:47.188104885Z running
|
||||
mtusi-lab4-migrate-1 beb1346b3d64 2026-10-20T17:17:44.385383967Z exited
|
||||
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T17:17:24.183151596Z running
|
||||
mtusi-lab4-s3-1 53a2a1cd172f 2026-10-20T17:17:39.223372464Z running
|
||||
mtusi-lab4-s3-bootstrap-1 d05a07be6b40 2026-10-20T17:17:44.2638513Z exited
|
||||
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T17:17:24.158704555Z running
|
||||
$ docker compose logs --since 60s --no-log-prefix s3-bootstrap
|
||||
mtusi-lab4-api-1 15f355a7ce5e 2026-10-20T18:25:44.219750924Z running
|
||||
mtusi-lab4-api-2 d6afabc6d77a 2026-10-20T18:25:44.306628049Z running
|
||||
mtusi-lab4-haproxy-1 1d3b522e85fa 2026-10-20T18:25:44.411630841Z running
|
||||
mtusi-lab4-migrate-1 2350a38cc289 2026-10-20T18:25:41.455557798Z exited
|
||||
mtusi-lab4-postgres-1 29c7b37863c1 2026-10-20T18:25:21.474698136Z running
|
||||
mtusi-lab4-s3-1 805bf7f382ac 2026-10-20T18:25:36.474543254Z running
|
||||
mtusi-lab4-s3-bootstrap-1 7bfe3a481799 2026-10-20T18:25:41.611018257Z exited
|
||||
mtusi-lab4-valkey-1 bd4329833fcc 2026-10-20T18:25:21.447281886Z running
|
||||
$ docker compose logs --no-log-prefix s3-bootstrap (запуск после рестарта)
|
||||
s3-bootstrap: bucket messenger exists
|
||||
s3-bootstrap: user api exists
|
||||
s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
|
||||
health/ready via LB: {"status":"ok"}
|
||||
$ persist_probe.py verify
|
||||
read back with the same SHA-256: 3/3; deleted
|
||||
hook output lines with secret|password|key=: 0
|
||||
```
|
||||
|
||||
- Перезапущены LB, обе реплики, PostgreSQL, Valkey и S3: ID контейнеров
|
||||
прежние, `StartedAt` у всех новый. `migrate` и `s3-bootstrap` снова
|
||||
выполнены как зависимости `start api`.
|
||||
- Hook занял 25 с при сроке 90 с, из них ~15 с — плавная остановка
|
||||
- Hook занял 24 с при сроке 90 с, из них ~15 с — плавная остановка
|
||||
SeaweedFS (`stop_grace_period: 20s`).
|
||||
- Bootstrap после рестарта ничего не изменил («exists»), объекты
|
||||
прочитаны с тем же SHA-256.
|
||||
- В выводе hook нет ни `secret`, ни `password`, ни `key=`: grep по нему
|
||||
дал 0 строк.
|
||||
- Сразу после возврата hook LB ответил 503 «No API replica is available»:
|
||||
реплики ещё стартовали. Готовность hook не ждёт, её ждёт сам тест
|
||||
(`docker.md`, `scripts/restart.sh`). Через полминуты `GET /health/ready`
|
||||
через LB — `{"status":"ok"}`, все сервисы `healthy`.
|
||||
- В выводе hook нет ни `secret`, ни `password`, ни `key=`.
|
||||
|
||||
## 2. Плавная остановка S3
|
||||
|
||||
Из пробы клиента (`client.md`, 17:16):
|
||||
|
||||
```
|
||||
docker compose stop s3: 15.6 s
|
||||
docker compose stop s3: 15.3 s
|
||||
ExitCode 0, OOMKilled false
|
||||
up --wait s3: healthy
|
||||
```
|
||||
|
||||
Тот же стенд в apply (2026-10-20): `docker compose stop s3` — 15 с,
|
||||
`ExitCode 0`, `OOMKilled false`. SIGKILL по сроку не понадобился.
|
||||
Сервер завершился сам за 15,3 с при `stop_grace_period: 20s`, код 0:
|
||||
SIGKILL по сроку не понадобился.
|
||||
|
||||
## 3. SIGKILL сразу после подтверждённых записей
|
||||
|
||||
@@ -76,10 +80,81 @@ $ persist_probe.py write 20 && docker kill -s KILL mtusi-lab4-s3-1
|
||||
written and confirmed: 20 objects
|
||||
after kill: status exited, exit 137
|
||||
$ docker compose up -d --wait s3
|
||||
healthy in 3 s
|
||||
healthy in 5 s
|
||||
$ persist_probe.py verify
|
||||
read back with the same SHA-256: 20/20; deleted
|
||||
```
|
||||
|
||||
Все 20 подтверждённых объектов пережили SIGKILL процесса. Отказ диска или
|
||||
ВМ этим не покрыт: одна нода без реплик (`REPORT.md`, «Ограничения»).
|
||||
|
||||
## 4. Первая запись после `healthy`
|
||||
|
||||
Находка verify W1: healthcheck проверял master, filer и шлюз, но не
|
||||
регистрацию тома у master. Тогда `healthy` иногда наступал раньше, чем
|
||||
том мог принять запись, и первая запись ждала его до 4,8 с при сроке
|
||||
вызова клиента 5 с. С `f57635a` healthcheck ещё и ждёт непустой
|
||||
`DataNodes` в `/dir/status` master.
|
||||
|
||||
### Шкала старта
|
||||
|
||||
`ev8_timeline.sh` (scratchpad): `docker compose stop s3` + `start`, затем
|
||||
раз в ~0,6 с — прежняя проверка (master, filer, шлюз), регистрация тома и
|
||||
статус healthcheck Docker.
|
||||
|
||||
```
|
||||
0.0 s: master+filer+gateway=no data_node=no docker=starting
|
||||
0.6 s: master+filer+gateway=no data_node=no docker=starting
|
||||
1.1 s: master+filer+gateway=no data_node=no docker=starting
|
||||
1.7 s: master+filer+gateway=no data_node=yes docker=starting
|
||||
2.3 s: master+filer+gateway=no data_node=yes docker=starting
|
||||
2.9 s: master+filer+gateway=no data_node=yes docker=starting
|
||||
3.5 s: master+filer+gateway=yes data_node=yes docker=starting
|
||||
4.2 s: master+filer+gateway=yes data_node=yes docker=healthy
|
||||
summary: old check passes at 3.5s, data node registered at 1.7s, docker healthy at 4.2s
|
||||
summary: old check passes at 3.4s, data node registered at 6.9s, docker healthy at 7.5s
|
||||
summary: old check passes at 3.4s, data node registered at 1.7s, docker healthy at 4.1s
|
||||
```
|
||||
|
||||
Во втором из трёх стартов том зарегистрировался через 6,9 с, на 3,5 с
|
||||
позже прежней проверки: прежний `healthy` пришёлся бы на это окно.
|
||||
Теперь `healthy` ждёт регистрацию.
|
||||
|
||||
### Время первой записи
|
||||
|
||||
`first_write.py` (scratchpad): запись, затем рестарт `s3` (`docker compose
|
||||
restart s3`, 12 раз) или `docker kill -s KILL` (6 раз) и `docker compose
|
||||
up -d --wait s3`, сразу первая и вторая запись. Срок вызова на время
|
||||
пробы — 30 с (`S3__TIMEOUT_SECONDS=30`), чтобы видеть ожидание, а не
|
||||
таймаут.
|
||||
|
||||
```
|
||||
restart #1: healthy after 20.2s, first put 24 ms, second 6 ms
|
||||
restart #2: healthy after 18.6s, first put 17 ms, second 4 ms
|
||||
restart #3: healthy after 18.5s, first put 12 ms, second 11 ms
|
||||
restart #4: healthy after 23.0s, first put 21 ms, second 5 ms
|
||||
restart #5: healthy after 19.2s, first put 23 ms, second 6 ms
|
||||
restart #6: healthy after 23.2s, first put 15 ms, second 3 ms
|
||||
restart #7: healthy after 20.1s, first put 15 ms, second 3 ms
|
||||
restart #8: healthy after 19.6s, first put 13 ms, second 4 ms
|
||||
restart #9: healthy after 23.2s, first put 27 ms, second 6 ms
|
||||
restart #10: healthy after 19.7s, first put 13 ms, second 3 ms
|
||||
restart #11: healthy after 23.3s, first put 20 ms, second 3 ms
|
||||
restart #12: healthy after 20.1s, first put 23 ms, second 6 ms
|
||||
kill #1: healthy after 7.9s, first put 23 ms, second 6 ms
|
||||
kill #2: healthy after 3.9s, first put 21 ms, second 7 ms
|
||||
kill #3: healthy after 3.9s, first put 11 ms, second 5 ms
|
||||
kill #4: healthy after 3.9s, first put 16 ms, second 4 ms
|
||||
kill #5: healthy after 3.9s, first put 11 ms, second 4 ms
|
||||
kill #6: healthy after 3.9s, first put 17 ms, second 7 ms
|
||||
```
|
||||
|
||||
- Первая запись после `healthy` — 11–27 мс во всех 18 случаях, при сроке
|
||||
вызова 5 с.
|
||||
- `healthy after` при рестарте включает плавную остановку (~15 с).
|
||||
- До правки тот же скрипт на прежнем healthcheck (2026-10-20, ~18:00
|
||||
UTC, код `7d340c0`): 8 рестартов, первая запись в двух — 4771 и 2523 мс,
|
||||
в остальных 9–16 мс. Verify: в 3 из 12 — 4775–4784 мс.
|
||||
|
||||
Секретов в выводах нет: `grep -F` значений секретов стенда по выводам
|
||||
hook, `persist_probe.py` и `first_write.py` — 0 совпадений.
|
||||
|
||||
@@ -1,13 +1,15 @@
|
||||
# `make failure_checks` со своим S3
|
||||
|
||||
- Дата: 2026-10-20, 17:21:58–17:23:29 UTC.
|
||||
- Commit: `2e997f9`.
|
||||
- Дата: 2026-10-20, 18:35:12–18:37:20 UTC.
|
||||
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд отказов: проект `mtusi-lab4-failures` (Postgres, Valkey, S3 с
|
||||
bootstrap, без портов хранилищ), два API на `127.0.0.1`. Рабочий стенд
|
||||
`mtusi-lab4` в это время запущен. Docker Desktop 29.8.2, Apple M3 Pro.
|
||||
- Новая проверка change `s3-storage` —
|
||||
`test_readiness_without_object_storage`: спек `health`, «Хранилище
|
||||
объектов недоступно».
|
||||
`test_readiness_without_object_storage[stop|pause]`: спек `health`,
|
||||
«Хранилище объектов недоступно». Вариант `pause` добавлен по находке
|
||||
verify S3. Проба hook после `unpause` и `start` — та же команда, что
|
||||
healthcheck `s3`, с регистрацией тома (находка W1).
|
||||
|
||||
## Итог: код 2, пять красных — ожидаемо до change `attachments`
|
||||
|
||||
@@ -23,7 +25,7 @@
|
||||
отправку сообщения. Чинит change `attachments` (ответ пользователя
|
||||
2026-10-20, `PLAN.md`, `s3-storage`, «Вопросы», п. 2), там этот файл
|
||||
переснимается зелёным. S3 и стенд отказов здесь ни при чём: остальные
|
||||
13 проверок, включая новую, прошли.
|
||||
14 проверок, включая оба варианта новой, прошли.
|
||||
|
||||
## Вывод (строки оркестратора и pytest)
|
||||
|
||||
@@ -38,28 +40,29 @@ s3-bootstrap-1 | s3-bootstrap: bucket messenger created
|
||||
s3-bootstrap-1 | s3-bootstrap: user api created
|
||||
s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:59374 tight=http://127.0.0.1:59382
|
||||
[failure_checks] ready: api=http://127.0.0.1:54756 tight=http://127.0.0.1:54761
|
||||
[failure_checks] pytest -m fault
|
||||
student-tests/test_failures.py::test_expired_token PASSED [ 5%]
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 11%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 16%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 22%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 27%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 33%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 38%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 44%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 50%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 55%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage PASSED [ 61%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 66%]
|
||||
student-tests/test_failures.py::test_valkey_stopped FAILED [ 72%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 77%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 83%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 88%]
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 10%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 15%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 21%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back FAILED [ 26%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 31%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 36%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 42%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 47%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 52%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 57%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 63%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 68%]
|
||||
student-tests/test_failures.py::test_valkey_stopped FAILED [ 73%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 78%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 84%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free FAILED [ 89%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free FAILED [ 94%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl FAILED [100%]
|
||||
=========== 5 failed, 13 passed, 142 deselected in 69.48s (0:01:09) ============
|
||||
[failure_checks] postgres log: 380 lines, crash markers 0; "too many clients" 25, "administrator command" 129
|
||||
=========== 5 failed, 14 passed, 142 deselected in 69.63s (0:01:09) ============
|
||||
[failure_checks] postgres log: 381 lines, crash markers 0; "too many clients" 26, "administrator command" 129
|
||||
[failure_checks] last 50 lines of mtusi-lab4-failures-api
|
||||
[failure_checks] last 50 lines of mtusi-lab4-failures-api-tight
|
||||
[failure_checks] cleanup
|
||||
@@ -69,6 +72,19 @@ exit=2
|
||||
|
||||
Журналы API стенда отказов, которые печатает оркестратор, здесь опущены.
|
||||
|
||||
## Только проверки S3
|
||||
|
||||
```
|
||||
$ make failure_checks FAULT_ARGS='-k object_storage'
|
||||
s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get/delete; api key list and bucket create, anonymous get and list denied)
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 50%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [100%]
|
||||
====================== 2 passed, 159 deselected in 7.71s =======================
|
||||
[failure_checks] postgres log: 57 lines, crash markers 0; "too many clients" 0, "administrator command" 0
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
exit=0
|
||||
```
|
||||
|
||||
## Уборка и рабочий стенд
|
||||
|
||||
```
|
||||
@@ -82,9 +98,10 @@ left: containers 0, volumes 0
|
||||
|
||||
## Новая проверка
|
||||
|
||||
`test_readiness_without_object_storage`: hook останавливает `s3` стенда
|
||||
отказов (`stop_grace_period: 2s`). `GET /health/ready` и `GET
|
||||
/health/live` отвечают 200 `{"status": "ok"}` быстрее 1 с, после этого
|
||||
`s3` запускается снова. Отдельный прогон `make failure_checks
|
||||
FAULT_ARGS='-k object_storage'` в apply: `1 passed`, код 0, стенд отказов
|
||||
убран, у рабочего стенда прежний `StartedAt`.
|
||||
`test_readiness_without_object_storage[stop|pause]`: hook останавливает
|
||||
(`stop_grace_period: 2s`) или замораживает (`docker pause`) `s3` стенда
|
||||
отказов. `GET /health/ready` и `GET /health/live` отвечают 200
|
||||
`{"status": "ok"}` быстрее 1 с, затем `s3` возвращается (`start` или
|
||||
`unpause` с пробой healthcheck). При `pause` соединение с S3 есть, а
|
||||
ответа нет: проверка, которая всё же ходила бы в S3, ждала бы срока
|
||||
вызова (5 с), а не отказа соединения.
|
||||
|
||||
@@ -1,12 +1,13 @@
|
||||
# `make test_isolated`: уборка объектов S3 временной базы
|
||||
|
||||
- Дата: 2026-10-20, 17:23:36–17:25:14 UTC.
|
||||
- Commit: `2e997f9`.
|
||||
- Стенд: рабочий `mtusi-lab4` (`make run_docker`). Временная база
|
||||
`test_messenger`, S3 и Valkey стенда общие.
|
||||
- Дата: 2026-10-20, 18:39:04–18:42:42 UTC.
|
||||
- Commit: `f57635a` (рабочее дерево — только `PLAN.md` вне кода).
|
||||
- Стенд: рабочий `mtusi-lab4` (`make run_docker` с этого commit).
|
||||
Временная база `test_messenger`, S3 и Valkey стенда общие. Раздел 3 —
|
||||
временный стенд (ниже).
|
||||
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
|
||||
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
|
||||
Design change `s3-storage`, решение 9.
|
||||
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
|
||||
|
||||
## Итог прогона: код 2, красное — ожидаемо до change `attachments`
|
||||
|
||||
@@ -14,29 +15,33 @@
|
||||
контракта лабы 4 требует поле `attachment_ids`, которого в коде лабы 3
|
||||
нет. Загрузки вложения тоже ещё нет.
|
||||
- `make student_test EXPECT_REPLICAS=1`: `30 failed, 106 passed, 4
|
||||
skipped, 18 deselected, 2 errors`.
|
||||
skipped, 19 deselected, 2 errors`.
|
||||
- 29 упавших и 2 ошибки фикстуры (`test_tampered_cursor`) — с одной
|
||||
причиной: `Message` / `MessagePage schema: 'attachment_ids' is a
|
||||
required property`.
|
||||
- Ещё одна — `test_exclusion_evidence_exists`: файлы исключений сверки
|
||||
покрытия снимаются заново на стенде лабы 4, после `attachments`.
|
||||
- `test_every_scenario_is_covered` прошёл.
|
||||
- `19 deselected` вместо прежних 18: проверка отказов
|
||||
`test_readiness_without_object_storage` стала двумя (`stop`, `pause`),
|
||||
а тесты `fault` здесь не выполняются.
|
||||
|
||||
Список совпадает с уточнённым в шапке `tasks.md` change `s3-storage`.
|
||||
Чинит change `attachments` (ответ пользователя 2026-10-20, `PLAN.md`),
|
||||
там прогон переснимается зелёным.
|
||||
|
||||
## Уборка префикса
|
||||
## 1. Уборка префикса
|
||||
|
||||
Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`)
|
||||
записаны объекты `test_messenger/probe` (будто хвост прошлого прогона) и
|
||||
`messenger/probe` (рабочая база).
|
||||
Перед прогоном разовым скриптом `prefix_probe.py` (клиент `src/infra/s3`,
|
||||
scratchpad) записаны объекты `test_messenger/probe` (будто хвост прошлого
|
||||
прогона) и `messenger/probe` (рабочая база).
|
||||
|
||||
```
|
||||
$ prefix_probe.py put
|
||||
test_messenger/probe: present
|
||||
messenger/probe: present
|
||||
$ make test_isolated
|
||||
exit=2
|
||||
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ container=mtusi-lab4-test-api base_url=http://127.0.0.1:18088
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] build image
|
||||
@@ -47,39 +52,81 @@ $ make test_isolated
|
||||
[test_isolated] make test
|
||||
FAIL: response: missing required fields
|
||||
[test_isolated] make student_test
|
||||
= 30 failed, 106 passed, 4 skipped, 18 deselected, 2 errors in 81.02s (0:01:21) =
|
||||
[test_isolated] last 50 lines of mtusi-lab4-test-api
|
||||
= 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 68.42s (0:01:08) =
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] results: {'test': 2, 'student_test': 2}
|
||||
exit=2
|
||||
$ prefix_probe.py show
|
||||
test_messenger/probe: absent
|
||||
messenger/probe: present
|
||||
```
|
||||
|
||||
- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Объект
|
||||
рабочей базы на месте, затем удалён вручную.
|
||||
- Префикс `test_messenger/` удалён в начале (хвост) и в уборке. Обе
|
||||
уборки проверены `fs.ls` (раздел 3): «cleanup failed» в выводе нет.
|
||||
Объект рабочей базы на месте, затем удалён вручную.
|
||||
- База `test_messenger` удалена (`pg_database`: 0 строк), тестового
|
||||
контейнера нет.
|
||||
|
||||
## `KEEP_TEST_DB=1` (apply, 2026-10-20, тот же код)
|
||||
## 2. `KEEP_TEST_DB=1`
|
||||
|
||||
Объект `test_messenger/probe` записан, пока шёл прогон (после строки
|
||||
`ready`):
|
||||
|
||||
```
|
||||
$ make test_isolated KEEP_TEST_DB=1 (probe put after "ready")
|
||||
exit=2
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] ready
|
||||
…
|
||||
= 30 failed, 106 passed, 4 skipped, 19 deselected, 2 errors in 69.75s (0:01:09) =
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] kept database test_messenger and objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] results: {'test': 2, 'student_test': 2}
|
||||
$ prefix_probe.py show
|
||||
test_messenger/probe: present
|
||||
messenger/probe: present
|
||||
```
|
||||
|
||||
Префикс и база остались, команда напечатала оба. Потом их убрали вручную:
|
||||
`DROP DATABASE` и `weed shell fs.rm -r`.
|
||||
Префикс и база остались, команда напечатала оба. Затем их убрали
|
||||
вручную: `DROP DATABASE test_messenger`, `prefix_probe.py delete` и
|
||||
`weed shell` `fs.rm -r /buckets/messenger/test_messenger`. После этого в
|
||||
bucket — только префикс `messenger`.
|
||||
|
||||
Префикс собирается только из имени, прошедшего `^test_[a-z0-9_]+$`, и
|
||||
проверенного имени bucket (`run_isolated.py`, `object_prefix`). Иначе —
|
||||
код 2 до любых действий.
|
||||
|
||||
## 3. Неудачная уборка замечается
|
||||
|
||||
Находка verify S2: `weed shell` выходит с кодом 0 и при ошибке команды,
|
||||
поэтому прежний `remove_objects` не замечал неудачной уборки. С
|
||||
`f57635a` он разбирает строки `rm:` (кроме «no entry is found» —
|
||||
префикса нет) и проверяет пустой `fs.ls` префикса. Иначе —
|
||||
`RuntimeError`: в начале прогона это код 1 до тестов, в уборке —
|
||||
«cleanup failed» и код 1.
|
||||
|
||||
Временный стенд: проект compose `mtusi-lab4-s3fresh`, S3 на tmpfs (без
|
||||
volumes), порт `127.0.0.1:18334`. Bootstrap прошёл, объект `test_x/probe`
|
||||
записан ключом API. `s2_check.py` (scratchpad) вызывает `remove_objects`
|
||||
из `run_isolated.py` против этого проекта (`COMPOSE_PROJECT_NAME`,
|
||||
`COMPOSE_FILE`) в трёх вариантах:
|
||||
- команда `weed shell` для `fs.rm` направлена на недоступный filer;
|
||||
- `fs.rm` подменена на путь, которого нет, и ничего не удаляет;
|
||||
- настоящая уборка.
|
||||
|
||||
После проверки стенд удалён (`down`).
|
||||
|
||||
```
|
||||
$ weed shell: fs.rm -r via unavailable filer, then exit code
|
||||
rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused"
|
||||
weed shell exit=0
|
||||
$ s2_check.py
|
||||
filer unavailable: RuntimeError: objects /buckets/messenger/test_x/ not removed: rm: /buckets/messenger/test_x: LookupEntry1: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:10001: connect: connection refused"
|
||||
nothing removed: RuntimeError: objects /buckets/messenger/test_x/ not removed: 1 entries left
|
||||
real cleanup: removed, fs.ls -> ''
|
||||
```
|
||||
|
||||
- Ошибка `fs.rm` при коде 0 `weed shell` теперь — исключение с первой
|
||||
строкой ошибки.
|
||||
- Объект, который `fs.rm` не удалил, находит `fs.ls`.
|
||||
- Настоящая уборка проходит, префикс пуст.
|
||||
|
||||
@@ -325,7 +325,7 @@ compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не созд
|
||||
test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4`
|
||||
работает. Затем показать изменения, предложить сообщение коммита и
|
||||
остановиться: evidence снимается с закоммиченного кода.
|
||||
- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
|
||||
- [x] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
|
||||
датой, commit и стендом:
|
||||
- `evidence/s3/restart.md` — первая запись после рестарта и `kill`
|
||||
(`first_write.py`);
|
||||
|
||||
Reference in New Issue
Block a user