fix: address s3-storage verify findings
- s3 healthcheck and fault hook probe wait for the volume server to register with master (first write after restart no longer waits ~5 s) - s3-bootstrap mounts /data as tmpfs: no anonymous volume per container - S3 client: NoSuchBucket and AccessDenied are 503 with their own error logs, not a missing object or rejected credentials; delete ignores only a missing key - test_isolated verifies prefix removal (weed shell exits 0 on errors) - s3_check derives ports from listening sockets in the s3 container - readiness without S3 is also checked with s3 paused Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -62,7 +62,7 @@ hook-ом проверяется напрямую (решение 9), без п
|
||||
| `GOMEMLIMIT=400MiB` + `-s3.concurrentUploadLimitMB=64` | 20 и 40 × 10 MiB PUT и GET без ошибок, анонимная память ≤ 271 MiB; лимит загрузки ставит запросы в очередь, а не отклоняет |
|
||||
| Без `GOMEMLIMIT`, только лимит загрузки | 40 × 10 MiB выдержал, анонимная память 476 MiB из 512 |
|
||||
| Клиент aiobotocore 3.9.2 (botocore 1.43.106, aiohttp 3.14.5), без повторов botocore (`total_max_attempts=1`) | контрольные суммы botocore по умолчанию принимаются; первый вызов старым клиентом после рестарта S3 проходит; `pause` — вызов обрывает `asyncio.timeout` ровно в срок; `stop` — `EndpointConnectionError` за 9 мс |
|
||||
| Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент (вероятно, том ещё регистрируется у master); следующие — 5–25 мс |
|
||||
| Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент; следующие — 5–25 мс. Причина найдена в verify (уточнения apply, п. 8): `healthy` по master, filer и шлюзу наступает до регистрации тома у master (~4 с разницы), ожидание доходило до 4,8 с при сроке вызова 5 с. Healthcheck теперь ждёт и том |
|
||||
| Цена клиента на хосте | импорт 80–160 мс, создание клиента 35–60 мс, +45 MiB RSS, установленные пакеты ~27 MiB |
|
||||
|
||||
Без ключа подписи сервер к тому же пишет при старте ошибку «no signing
|
||||
@@ -122,10 +122,12 @@ Entrypoint образа добавляет `-dir=/data -volume.max=0
|
||||
- алиас в сети `${S3_HOST}`;
|
||||
- публикация `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`.
|
||||
|
||||
Healthcheck на `wget` проверяет `/cluster/healthz` master,
|
||||
`/healthz` filer на loopback и `/healthz` шлюза S3 на
|
||||
`$$S3_PORT`, с `start_interval: 1s`. Процесс один, но так `healthy`
|
||||
значит «master выбран, filer и шлюз отвечают».
|
||||
Healthcheck на `wget` проверяет `/cluster/healthz` master, список
|
||||
data node в `/dir/status` master (непустой `DataNodes`), `/healthz`
|
||||
filer на loopback и `/healthz` шлюза S3 на `$$S3_PORT`, с
|
||||
`start_interval: 1s`. Процесс один, но так `healthy` значит «master
|
||||
выбран, том зарегистрирован у master, filer и шлюз отвечают» и первая
|
||||
запись не ждёт регистрации тома (уточнения apply, п. 8).
|
||||
|
||||
*Альтернатива:* отдельные контейнеры master, volume, filer и s3 в
|
||||
своей сети. Отвергнута: четыре сервиса с healthcheck, лимитами и
|
||||
@@ -192,7 +194,9 @@ API. Отвергнута: нужен клиент IAM (ещё образ или
|
||||
Сервис `s3-bootstrap`:
|
||||
- образ тот же, что у `s3`, `network_mode: service:s3`: master и filer
|
||||
на `127.0.0.1` сервера доступны ему, а в сети их нет;
|
||||
- `user: seaweed`, `restart: "no"`, `tmpfs: /tmp`;
|
||||
- `user: seaweed`, `restart: "no"`, `tmpfs: [/tmp, /data]` (`/data` —
|
||||
volume образа: без tmpfs каждый новый контейнер оставлял бы анонимный
|
||||
volume, уточнения apply, п. 9);
|
||||
- скрипт `infra/s3/bootstrap.sh` монтируется только на чтение длинной
|
||||
записью с `create_host_path: false`;
|
||||
- `depends_on: s3: service_healthy`;
|
||||
@@ -321,8 +325,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
|
||||
- Срок: каждый вызов в `asyncio.timeout([s3] timeout_seconds)`. Повторов
|
||||
нет. Рестарт S3 повтора не требует (Context), а таймаут, как у
|
||||
Valkey, не повторяется. Загрузку клиент контракта повторяет сам.
|
||||
Первая запись после старта S3 может ждать ~2,5 с, это меньше срока.
|
||||
На штатном стенде её делает проверка bootstrap до старта реплик.
|
||||
Первая запись после старта S3 ждала регистрации тома у master до
|
||||
4,8 с — почти весь срок; теперь `healthy` наступает после регистрации
|
||||
(решение 1), и первая запись после рестарта — 10–40 мс (уточнения
|
||||
apply, п. 8).
|
||||
- Операции:
|
||||
- `put(key, data, content_type)`;
|
||||
- `open(key)` — асинхронный контекст с размером, типом и чтением
|
||||
@@ -336,8 +342,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
|
||||
| Что пришло | Исключение | Журнал |
|
||||
|---|---|---|
|
||||
| отказ соединения, обрыв, таймаут сокета или срока, 5xx | `ObjectStorageUnavailable` (наследник `ServiceUnavailable` → 503 `unavailable` по таблице `errors.py`) | `warning` «Object storage is unavailable» с классом ошибки |
|
||||
| 403 `AccessDenied`, `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей |
|
||||
| `NoSuchKey` / 404 у `open` | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет |
|
||||
| 403 `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей |
|
||||
| 403 `AccessDenied` и 403 без тела (HEAD) | то же исключение | `error` «Object storage denied access» (уточнения apply, п. 10) |
|
||||
| 404 `NoSuchBucket` | то же исключение | `error` «Object storage bucket is missing» (п. 10) |
|
||||
| `NoSuchKey` / 404 без тела (HEAD) | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет |
|
||||
| прочие ошибки S3 | без перевода | 500 и traceback, это дефект |
|
||||
|
||||
- Ключ объекта строит repo в `attachments`: `f"{namespace}/{…}"`. Здесь
|
||||
@@ -564,3 +572,52 @@ PostgreSQL change не трогает.
|
||||
`KNOWN_ISSUES.md`. `make bench_rollout_quick` падает за 6 с;
|
||||
самопроверка профиля — `bench/run.py --profile rollout_quick --from
|
||||
5d5d8f9` (код 0).
|
||||
|
||||
Правки по находкам `/opsx:verify` (2026-10-20, tasks.md, группа 7):
|
||||
|
||||
8. **Healthcheck ждёт регистрации тома** (W1, решение 1). `healthy` по
|
||||
master, filer и шлюзу наступал через ~3 с после старта, а volume
|
||||
регистрировался у master через ~7 с (опрос `/dir/status` раз в 0,5 с:
|
||||
до регистрации `"DataCenters":null`, после — `"DataNodes":[{…}]`).
|
||||
Первая запись ждала регистрации: до правки 2 из 8 рестартов — 4771 и
|
||||
2523 мс, у verify 3 из 12 — до 4784 мс при сроке 5 с. Проверка
|
||||
`wget -q -O - …/dir/status | grep -qF '"DataNodes":[{'` в healthcheck
|
||||
и пробе `fault_hook.py`. После правки: 12 рестартов и 6 `kill` — первая
|
||||
запись 10–40 мс. Свежий volume (tmpfs) тоже проходит: data node
|
||||
регистрируется и без томов, bootstrap создаёт bucket.
|
||||
9. **`tmpfs: [/tmp, /data]` у `s3-bootstrap`** (W2, решение 4). Образ
|
||||
объявляет `VOLUME /data`, и каждый новый контейнер bootstrap создавал
|
||||
анонимный volume. Пересоздание контейнера compose переносит прежний
|
||||
анонимный volume на новый — на рабочем стенде он отвязан `docker
|
||||
compose up -d --no-deps --renew-anon-volumes s3-bootstrap` и остался
|
||||
висячим (удалять volumes агенту нельзя).
|
||||
10. **Ошибки bucket и доступа** (S1, решение 7). `NoSuchBucket` —
|
||||
`ObjectStorageUnavailable` и `error` «Object storage bucket is
|
||||
missing»; `AccessDenied` и 403 без тела — `ObjectStorageUnavailable` и
|
||||
`error` «Object storage denied access»; «rejected credentials» — только
|
||||
`InvalidAccessKeyId` и `SignatureDoesNotMatch`. Любой 404 больше не
|
||||
значит «объекта нет»: только `NoSuchKey` и 404 без тела у HEAD.
|
||||
`delete` глушит только `StoredObjectMissing`. Проверено на временном
|
||||
стенде с удалённым bucket: PUT SeaweedFS отвечает `AccessDenied`, GET
|
||||
и DELETE — `NoSuchBucket`, HEAD — 404 без тела, как у отсутствующего
|
||||
ключа. Поэтому `head` удалённого bucket по-прежнему `None`, а неверный
|
||||
секрет у HEAD — «denied access» (403 без кода): ограничение HEAD, не
|
||||
клиента.
|
||||
11. **Уборка префикса проверяется** (S2, решение 9). `weed shell` выходит
|
||||
с кодом 0 и при ошибке (`rm: <путь>: LookupEntry1: … connection
|
||||
refused`). `remove_objects` разбирает строки `rm:` (кроме «no entry is
|
||||
found» — префикса нет) и проверяет пустой `fs.ls` префикса; иначе
|
||||
`RuntimeError`: в начале прогона — код 1 до тестов, в уборке —
|
||||
«cleanup failed», код 1.
|
||||
12. **Готовность при замороженном S3** (S3). `test_readiness_without_
|
||||
object_storage` параметризован `stop` и `pause`; сценарий `health`
|
||||
«Хранилище объектов недоступно» называет оба (основной спек и
|
||||
дельта).
|
||||
13. **Порты S3 — со слушающих сокетов** (S4, решение 8). `driver.py
|
||||
s3-check` берёт `netstat -tuln` контейнера `s3`: вне loopback (не
|
||||
`127.0.0.0/8` и не `::1`) должно быть ровно `S3_PORT` и `S3_PORT` +
|
||||
10000, а остальные слушающие TCP-порты из сети закрыты (`nc -z`).
|
||||
Фиксированный список `S3_CLOSED_PORTS` убран: новый порт нового
|
||||
выпуска SeaweedFS он бы пропустил. Отрицательная проверка — временный
|
||||
стенд с `-ip.bind=0.0.0.0`: код 1, лишние 8080, 8888, 9333, 18080,
|
||||
18888, 19333.
|
||||
|
||||
@@ -39,6 +39,7 @@
|
||||
|
||||
#### Scenario: Хранилище объектов недоступно
|
||||
|
||||
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен
|
||||
- **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
|
||||
PostgreSQL доступен
|
||||
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
||||
секунды: проверка к S3 не обращается
|
||||
|
||||
@@ -18,7 +18,9 @@ S3-хранилище байтов стенда с лабы 4. Здесь опи
|
||||
S3-совместимый сервер. Его образ SHALL быть закреплён тегом с версией и
|
||||
digest индекса. Данные сервера SHALL
|
||||
храниться в именованном volume. Сервису SHALL быть заданы:
|
||||
- healthcheck, который проверяет готовность обслуживать запросы S3;
|
||||
- healthcheck, который проверяет готовность обслуживать запросы S3, в
|
||||
том числе запись объекта: `healthy` MUST NOT наступать раньше, чем
|
||||
хранилище томов готово принять запись;
|
||||
- лимиты CPU и памяти;
|
||||
- перезапуск после сбоя;
|
||||
- срок остановки, за который сервер завершается сам, без принудительного
|
||||
@@ -34,6 +36,13 @@ digest индекса. Данные сервера SHALL
|
||||
- **THEN** контейнер S3 в состоянии `healthy`, его образ указан тегом с
|
||||
версией и digest, а данные лежат в именованном volume проекта
|
||||
|
||||
#### Scenario: Первая запись после healthy
|
||||
|
||||
- **WHEN** контейнер S3 перезапущен с сохранённым volume и стал
|
||||
`healthy`, и сразу после этого ключом API записывается объект
|
||||
- **THEN** первая запись проходит заметно быстрее срока вызова клиента
|
||||
(`[s3] timeout_seconds`), а не ждёт регистрации хранилища томов
|
||||
|
||||
#### Scenario: Остановка сервера
|
||||
|
||||
- **WHEN** выполняется `docker compose stop s3`
|
||||
@@ -273,10 +282,12 @@ SHALL сохраняться и после принудительного зав
|
||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||
- недоступен;
|
||||
- не ответил за срок;
|
||||
- отклонил учётные данные.
|
||||
- отклонил учётные данные;
|
||||
- отказал ключу API в доступе или не нашёл bucket.
|
||||
|
||||
Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL
|
||||
отличаться от недоступности. После возврата S3 вызовы SHALL проходить
|
||||
отличаться от недоступности: отсутствующий bucket MUST NOT выдаваться за
|
||||
отсутствующий объект у записи, чтения и удаления. После возврата S3 вызовы SHALL проходить
|
||||
без перезапуска приложения. Соединения с S3 SHALL открываться при
|
||||
первом вызове, а при остановке сервиса клиент SHALL закрываться.
|
||||
|
||||
@@ -307,6 +318,13 @@ SHALL сохраняться и после принудительного зав
|
||||
- **WHEN** приложение читает ключ, которого в bucket нет
|
||||
- **THEN** клиент сообщает, что объекта нет, а не недоступность S3
|
||||
|
||||
#### Scenario: Bucket нет
|
||||
|
||||
- **WHEN** bucket приложения удалён мимо bootstrap, и приложение
|
||||
записывает, читает или удаляет объект
|
||||
- **THEN** каждый вызов завершается ошибкой недоступности, а не
|
||||
сообщением «объекта нет», и в журнале есть запись уровня `error`
|
||||
|
||||
#### Scenario: Учётные данные отклонены
|
||||
|
||||
- **WHEN** секрет API у приложения не совпадает с секретом на сервере
|
||||
|
||||
@@ -251,3 +251,91 @@
|
||||
- [x] 6.3 `make lint`, `make check`, `openspec validate s3-storage
|
||||
--strict`, `graphify update .`; показать изменения и после
|
||||
подтверждения закоммитить evidence и отчёт.
|
||||
|
||||
## 7. Замечания проверки
|
||||
|
||||
Находки `/opsx:verify` (2026-10-20), все решено исправить. Решения —
|
||||
design, «Уточнения apply», п. 8–13. Временный стенд проверок — проект
|
||||
compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не создаёт),
|
||||
`down` без `-v` после проверки.
|
||||
|
||||
- [x] 7.1 W1. S3 `healthy`, только когда master видит data node:
|
||||
healthcheck `s3` в `docker-compose.yml` и `PROBES["s3"]` в
|
||||
`student-tests/fault_hook.py` добавляют проверку `/dir/status` master
|
||||
(непустой список `DataNodes`); сценарий «Первая запись после
|
||||
healthy» в требовании «S3-хранилище в стенде» дельты `object-storage`;
|
||||
числа в design (Context, решения 1 и 7), комментарий у `api`
|
||||
в compose, `docker.md`, `student-tests.md`. Проверка:
|
||||
- формат `/dir/status` сверен на стенде: сразу после старта
|
||||
`DataNodes` нет, после регистрации тома — есть;
|
||||
- `first_write.py` (scratchpad, срок вызова 30 с): до правки и после
|
||||
— 12 рестартов `s3` с ожиданием `healthy`, первая запись после
|
||||
правки быстрее 1 с во всех;
|
||||
- `make failure_checks FAULT_ARGS='-k object_storage'` — проба hook
|
||||
после `unpause` проходит.
|
||||
- [x] 7.2 W2. `tmpfs: [/tmp, /data]` у `s3-bootstrap`: volume образа
|
||||
`/data` больше не создаётся анонимным volume. В override стенда
|
||||
отказов и `bench/` сервиса нет — они наследуют. Проверка:
|
||||
- `docker inspect` контейнера `s3-bootstrap` — у `/data` тип `tmpfs`,
|
||||
volume нет;
|
||||
- число volumes (`docker volume ls -q | wc -l`) после `docker compose
|
||||
up -d s3 s3-bootstrap` и `docker compose run --rm s3-bootstrap`
|
||||
не растёт.
|
||||
- [x] 7.3 S1. Клиент различает отсутствующий ключ и отсутствующий
|
||||
bucket (`src/infra/s3/client.py`): `NoSuchBucket` —
|
||||
`ObjectStorageUnavailable` и `error` «Object storage bucket is
|
||||
missing»; `AccessDenied` и 403 без тела (HEAD) —
|
||||
`ObjectStorageUnavailable` и `error` «Object storage denied access»
|
||||
(не «rejected credentials»); `delete` глушит только отсутствующий
|
||||
ключ. Сценарий «Bucket нет» в требовании «Клиент хранилища в
|
||||
приложении» дельты `object-storage`; таблица ошибок design (решение
|
||||
7), `infra.md`, `logging.md`. Проверка — разовый скрипт против
|
||||
временного стенда:
|
||||
- до правки: удалённый bucket — `open` и `delete` бросают
|
||||
`StoredObjectMissing`, `put` пишет «rejected credentials»
|
||||
(`AccessDenied`);
|
||||
- после правки: удалённый bucket — `put`, `head`, `open`, `delete` —
|
||||
`ObjectStorageUnavailable` и запись `error` о bucket; отсутствующий
|
||||
ключ — `head` `None`, `open` `StoredObjectMissing`, `delete` без
|
||||
ошибки; чужой bucket без прав — `ObjectStorageUnavailable` и
|
||||
«denied access» у всех четырёх, `head` — не 500; неверный секрет —
|
||||
«rejected credentials».
|
||||
- [x] 7.4 S2. `run_isolated.py` после `fs.rm -r` проверяет `fs.ls`
|
||||
префикса: остались записи или вывод `weed shell` с ошибкой — уборка
|
||||
неуспешна, код 1, команда называет префикс. Проверка:
|
||||
- разовым скриптом записать `test_<db>/probe`: проверка остатков до
|
||||
удаления сообщает об остатке, после `remove_objects` — нет;
|
||||
- `weed shell` с ошибкой при коде 0 (временный стенд) — `remove_objects`
|
||||
бросает;
|
||||
- `make test_isolated` — уборка префикса в выводе, без
|
||||
«cleanup failed».
|
||||
- [x] 7.5 S3. `test_readiness_without_object_storage` — для `stop` и
|
||||
`pause` (параметр): готовность и `live` 200 быстрее секунды. Проверка:
|
||||
`make failure_checks FAULT_ARGS='-k object_storage'` — 2 прошли; полный
|
||||
`make failure_checks` — красное только по списку в шапке.
|
||||
- [x] 7.6 S4. `make s3_check` берёт слушающие сокеты контейнера `s3`
|
||||
(`netstat -tln` в контейнере) вместо списка `S3_CLOSED_PORTS`:
|
||||
слушающие не на loopback — ровно {`S3_PORT`, `S3_PORT` + 10000},
|
||||
остальные слушающие порты из сети стенда закрыты (`nc -z`). Проверка:
|
||||
- на стенде — код 0, в таблице список слушающих портов;
|
||||
- отрицательная: временный стенд с `-ip.bind=0.0.0.0` у `s3` —
|
||||
код 1, названы лишние порты.
|
||||
- [x] 7.7 `make lint`, `make check`, `openspec validate s3-storage
|
||||
--strict`, `make s3_check`, `make failure_checks`, `make
|
||||
test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4`
|
||||
работает. Затем показать изменения, предложить сообщение коммита и
|
||||
остановиться: evidence снимается с закоммиченного кода.
|
||||
- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
|
||||
датой, commit и стендом:
|
||||
- `evidence/s3/restart.md` — первая запись после рестарта и `kill`
|
||||
(`first_write.py`);
|
||||
- `evidence/s3/client.md` — удалённый bucket, отказ в доступе,
|
||||
отсутствующий ключ (`s1_check.py` на временном стенде);
|
||||
- `evidence/s3/privacy.md` — `make s3_check` со слушающими портами и
|
||||
отрицательная проверка;
|
||||
- `evidence/tests/` — `make failure_checks` (оба варианта новой
|
||||
проверки) и строки уборки `make test_isolated`;
|
||||
- строки `REPORT.md`, которые ссылаются на эти файлы.
|
||||
|
||||
Проверка: `grep` по значениям секретов из `.env` в `evidence/` пуст;
|
||||
`make lint`, `make check`, `openspec validate s3-storage --strict`.
|
||||
|
||||
@@ -56,7 +56,8 @@ MUST NOT зависеть от состояния хранилища.
|
||||
|
||||
#### Scenario: Хранилище объектов недоступно
|
||||
|
||||
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен
|
||||
- **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
|
||||
PostgreSQL доступен
|
||||
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
||||
секунды: проверка к S3 не обращается
|
||||
|
||||
|
||||
Reference in New Issue
Block a user