fix: address s3-storage verify findings
- s3 healthcheck and fault hook probe wait for the volume server to register with master (first write after restart no longer waits ~5 s) - s3-bootstrap mounts /data as tmpfs: no anonymous volume per container - S3 client: NoSuchBucket and AccessDenied are 503 with their own error logs, not a missing object or rejected credentials; delete ignores only a missing key - test_isolated verifies prefix removal (weed shell exits 0 on errors) - s3_check derives ports from listening sockets in the s3 container - readiness without S3 is also checked with s3 paused Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -219,7 +219,11 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
|
|||||||
Iceberg, Lance и IAM API выключены. Volume `s3_data:/data`
|
Iceberg, Lance и IAM API выключены. Volume `s3_data:/data`
|
||||||
(`Config.Volumes`), алиас `${S3_HOST}`, публикация только
|
(`Config.Volumes`), алиас `${S3_HOST}`, публикация только
|
||||||
`127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`. Healthcheck — `wget` на
|
`127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`. Healthcheck — `wget` на
|
||||||
`/cluster/healthz` master, `/healthz` filer и шлюза, всё на loopback.
|
`/cluster/healthz` master, непустой `DataNodes` в `/dir/status`
|
||||||
|
master (том зарегистрирован), `/healthz` filer и шлюза, всё на
|
||||||
|
loopback. Без проверки тома `healthy` наступал на ~4 с раньше
|
||||||
|
регистрации, и первая запись ждала её почти весь срок вызова клиента
|
||||||
|
(5 с). Та же команда — проба `fault_hook.py`.
|
||||||
Лимиты 1 CPU / 512 МБ, `GOMEMLIMIT=400MiB` и
|
Лимиты 1 CPU / 512 МБ, `GOMEMLIMIT=400MiB` и
|
||||||
`-s3.concurrentUploadLimitMB=64` (решение 2);
|
`-s3.concurrentUploadLimitMB=64` (решение 2);
|
||||||
- **`stop_grace_period: 20s`**, а не 10: плавная остановка SeaweedFS
|
- **`stop_grace_period: 20s`**, а не 10: плавная остановка SeaweedFS
|
||||||
@@ -235,7 +239,10 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
|
|||||||
from .env.example»;
|
from .env.example»;
|
||||||
- `s3-bootstrap` — `network_mode: service:s3` (master и filer сервера
|
- `s3-bootstrap` — `network_mode: service:s3` (master и filer сервера
|
||||||
на его `127.0.0.1`), `user: seaweed`, `restart: "no"`, `tmpfs:
|
на его `127.0.0.1`), `user: seaweed`, `restart: "no"`, `tmpfs:
|
||||||
/tmp` и `HOME=/tmp`, скрипт `infra/s3/bootstrap.sh` read-only
|
[/tmp, /data]` и `HOME=/tmp` (`/data` — volume образа: без tmpfs
|
||||||
|
каждый новый контейнер bootstrap оставлял анонимный volume, а
|
||||||
|
пересоздание его переносит — `up -d --renew-anon-volumes
|
||||||
|
s3-bootstrap` отвязывает старый), скрипт `infra/s3/bootstrap.sh` read-only
|
||||||
длинной записью, `depends_on: s3: service_healthy`, лимиты 0,5 CPU /
|
длинной записью, `depends_on: s3: service_healthy`, лимиты 0,5 CPU /
|
||||||
128 МБ. Режим `apply` (по умолчанию) идемпотентно сводит состояние
|
128 МБ. Режим `apply` (по умолчанию) идемпотентно сводит состояние
|
||||||
к `.env` (bucket, анонимный доступ `none`, политика `api-objects`,
|
к `.env` (bucket, анонимный доступ `none`, политика `api-objects`,
|
||||||
|
|||||||
+10
-6
@@ -156,12 +156,16 @@ paths:
|
|||||||
- ключи передаются в botocore всегда, даже пустые: с `None` он искал
|
- ключи передаются в botocore всегда, даже пустые: с `None` он искал
|
||||||
бы учётные данные в окружении и `~/.aws` хоста. Пустые ключи —
|
бы учётные данные в окружении и `~/.aws` хоста. Пустые ключи —
|
||||||
`warning` при старте;
|
`warning` при старте;
|
||||||
- ошибки: отказ соединения, обрыв, таймаут, 5xx и отказ в учётных
|
- ошибки: отказ соединения, обрыв, таймаут, 5xx, отказ в учётных
|
||||||
данных (`AccessDenied`, `InvalidAccessKeyId`,
|
данных (`InvalidAccessKeyId`, `SignatureDoesNotMatch`), отказ в
|
||||||
`SignatureDoesNotMatch`) — `ObjectStorageUnavailable` (наследник
|
доступе (`AccessDenied`, 403 без тела у HEAD) и отсутствующий bucket
|
||||||
`ServiceUnavailable`, 503 `unavailable`); отсутствующий ключ —
|
(`NoSuchBucket`) — `ObjectStorageUnavailable` (наследник
|
||||||
`StoredObjectMissing` (`head` — `None`, `delete` — не ошибка);
|
`ServiceUnavailable`, 503 `unavailable`); отсутствующий ключ
|
||||||
прочие ошибки S3 и botocore не перехватываются — 500, дефект;
|
(`NoSuchKey`, 404 без тела у HEAD) — `StoredObjectMissing` (`head` —
|
||||||
|
`None`, `delete` глушит только его). Удалённый bucket не выдаётся за
|
||||||
|
отсутствующий объект; исключение — HEAD: SeaweedFS отвечает тем же
|
||||||
|
404 без тела. Прочие ошибки S3 и botocore не перехватываются — 500,
|
||||||
|
дефект;
|
||||||
- обхода и пропуска после отказа, как у Valkey, нет: без S3 путь
|
- обхода и пропуска после отказа, как у Valkey, нет: без S3 путь
|
||||||
вложений всё равно 503. `/health/ready` S3 не проверяет (спек
|
вложений всё равно 503. `/health/ready` S3 не проверяет (спек
|
||||||
`health`, решение 3 `PLAN.md`): текст работает без него.
|
`health`, решение 3 `PLAN.md`): текст работает без него.
|
||||||
|
|||||||
@@ -128,8 +128,10 @@ paths:
|
|||||||
обращений к S3 допустимы адрес S3, bucket, ключ объекта, размер,
|
обращений к S3 допустимы адрес S3, bucket, ключ объекта, размер,
|
||||||
длительность и класс ошибки (спек `service-logging`). Клиент
|
длительность и класс ошибки (спек `service-logging`). Клиент
|
||||||
(`src/infra/s3/client.py`, модуль `object_storage`) пишет `warning`
|
(`src/infra/s3/client.py`, модуль `object_storage`) пишет `warning`
|
||||||
«Object storage is unavailable» на отказ и таймаут, `error` «Object
|
«Object storage is unavailable» на отказ и таймаут, `error` с кодом
|
||||||
storage rejected credentials» с кодом ошибки S3, `debug` на успешный
|
ошибки S3 — «Object storage rejected credentials» (неверный ключ или
|
||||||
|
подпись), «Object storage denied access» (`AccessDenied`) и «Object
|
||||||
|
storage bucket is missing» (`NoSuchBucket`), `debug` на успешный
|
||||||
вызов; текста исключения botocore в записи нет. Запись «Started API» —
|
вызов; текста исключения botocore в записи нет. Запись «Started API» —
|
||||||
с `s3_host`, `s3_port`, `s3_bucket`; пустые ключи — `warning`.
|
с `s3_host`, `s3_port`, `s3_bucket`; пустые ключи — `warning`.
|
||||||
- Stack trace — только в лог, никогда в ответ.
|
- Stack trace — только в лог, никогда в ответ.
|
||||||
|
|||||||
@@ -100,7 +100,10 @@ paths:
|
|||||||
исходе. С лабы 4 уборка удаляет и объекты под префиксом `test_<db>/`
|
исходе. С лабы 4 уборка удаляет и объекты под префиксом `test_<db>/`
|
||||||
bucket — в начале (хвост прошлого прогона) и в конце: `docker compose
|
bucket — в начале (хвост прошлого прогона) и в конце: `docker compose
|
||||||
exec -T s3` + `weed shell` `fs.rm -r /buckets/<bucket>/test_<db>`
|
exec -T s3` + `weed shell` `fs.rm -r /buckets/<bucket>/test_<db>`
|
||||||
(отсутствие префикса — не ошибка). Префикс собирается только из
|
(отсутствие префикса — не ошибка). `weed shell` выходит с кодом 0 и
|
||||||
|
при ошибке команды, поэтому успех проверяется отдельно: нет строк
|
||||||
|
`rm:` с ошибкой и `fs.ls` префикса пуст; иначе в начале — код 1 до
|
||||||
|
прогона, в уборке — «cleanup failed» и код 1. Префикс собирается только из
|
||||||
имени, прошедшего `^test_[a-z0-9_]+$`, и проверенного имени bucket,
|
имени, прошедшего `^test_[a-z0-9_]+$`, и проверенного имени bucket,
|
||||||
иначе код 2 до любых действий: ошибка не может удалить рабочий
|
иначе код 2 до любых действий: ошибка не может удалить рабочий
|
||||||
префикс. `KEEP_TEST_DB=1` оставляет базу и префикс и печатает оба.
|
префикс. `KEEP_TEST_DB=1` оставляет базу и префикс и печатает оба.
|
||||||
@@ -155,7 +158,8 @@ paths:
|
|||||||
намеренно. Действия: `stop` / `start` /
|
намеренно. Действия: `stop` / `start` /
|
||||||
`pause` / `unpause` сервиса `postgres`, `valkey` или `s3` (у `s3`
|
`pause` / `unpause` сервиса `postgres`, `valkey` или `s3` (у `s3`
|
||||||
проба после `unpause` — та же команда, что healthcheck: master,
|
проба после `unpause` — та же команда, что healthcheck: master,
|
||||||
filer и шлюз; `test_readiness_without_object_storage` — спек `health`,
|
зарегистрированный том, filer и шлюз;
|
||||||
|
`test_readiness_without_object_storage[stop|pause]` — спек `health`,
|
||||||
«Хранилище объектов недоступно»), `flush-cache`, `cache-hits`, `cache-has-chat`,
|
«Хранилище объектов недоступно»), `flush-cache`, `cache-hits`, `cache-has-chat`,
|
||||||
`fail-members` (триггер, который роняет вставку участников),
|
`fail-members` (триггер, который роняет вставку участников),
|
||||||
`fail-messages` (триггер, который роняет вставку сообщения с данным
|
`fail-messages` (триггер, который роняет вставку сообщения с данным
|
||||||
|
|||||||
@@ -103,7 +103,7 @@ python3 $D stop
|
|||||||
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
|
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
|
||||||
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
|
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
|
||||||
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
|
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
|
||||||
| `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), временный чужой bucket (403 на всё), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3 из сети (`nc -z`: открыты только API S3 и gRPC шлюза); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` |
|
| `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), временный чужой bucket (403 на всё), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3: слушающие сокеты из `netstat -tuln` в контейнере — вне loopback ровно API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты (`nc -z`); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` |
|
||||||
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
|
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
|
||||||
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
|
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
|
||||||
| `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` |
|
| `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` |
|
||||||
|
|||||||
@@ -93,6 +93,7 @@ import csv
|
|||||||
import hashlib
|
import hashlib
|
||||||
import http.client
|
import http.client
|
||||||
import io
|
import io
|
||||||
|
import ipaddress
|
||||||
import json
|
import json
|
||||||
import os
|
import os
|
||||||
import secrets
|
import secrets
|
||||||
@@ -1571,23 +1572,11 @@ def cmd_auth_storage(port: int) -> int:
|
|||||||
S3_CHECK_KEY = ".s3-check/probe"
|
S3_CHECK_KEY = ".s3-check/probe"
|
||||||
# строки проверок bootstrap: «s3-bootstrap: check<TAB>имя<TAB>ожидаемо…»
|
# строки проверок bootstrap: «s3-bootstrap: check<TAB>имя<TAB>ожидаемо…»
|
||||||
S3_CHECK_ROW = "s3-bootstrap: check\t"
|
S3_CHECK_ROW = "s3-bootstrap: check\t"
|
||||||
# порты weed server, которые не должны быть доступны из сети стенда:
|
# слушающие сокеты контейнера S3 (busybox netstat образа): вне loopback
|
||||||
# master, filer, volume (HTTP и gRPC), admin UI, Iceberg, Lance, webdav,
|
# должны быть только API S3 и gRPC шлюза, остальные — только на loopback.
|
||||||
# SFTP, pprof
|
# Список берётся с сервера, а не задаётся заранее: новый выпуск SeaweedFS
|
||||||
S3_CLOSED_PORTS = (
|
# с новым портом список не обойдёт
|
||||||
9333,
|
S3_LISTEN_COMMAND = "exec netstat -tuln"
|
||||||
19333,
|
|
||||||
8888,
|
|
||||||
18888,
|
|
||||||
8080,
|
|
||||||
18080,
|
|
||||||
23646,
|
|
||||||
8181,
|
|
||||||
9101,
|
|
||||||
7333,
|
|
||||||
8111,
|
|
||||||
6060,
|
|
||||||
)
|
|
||||||
# анонимные запросы из сети стенда и порты контейнера S3: одноразовый
|
# анонимные запросы из сети стенда и порты контейнера S3: одноразовый
|
||||||
# контейнер на образе сервера (curl и nc в нём есть). Строки — как у
|
# контейнер на образе сервера (curl и nc в нём есть). Строки — как у
|
||||||
# bootstrap: имя, ожидаемо, получено
|
# bootstrap: имя, ожидаемо, получено
|
||||||
@@ -1608,11 +1597,40 @@ for p in $S3_PORT $S3_GRPC_PORT; do
|
|||||||
done
|
done
|
||||||
for p in $S3_CLOSED; do
|
for p in $S3_CLOSED; do
|
||||||
if nc -z -w 2 "$S3_HOST" "$p"; then got=open; else got=closed; fi
|
if nc -z -w 2 "$S3_HOST" "$p"; then got=open; else got=closed; fi
|
||||||
row "port $p" closed "$got"
|
row "port $p (loopback only)" closed "$got"
|
||||||
done
|
done
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
def s3_listening() -> tuple[list[str], list[int]]:
|
||||||
|
"""Слушающие сокеты контейнера `s3`: вне loopback (TCP — номер порта,
|
||||||
|
UDP — `udp/<порт>`) и TCP-порты только на loopback."""
|
||||||
|
outside_tcp: set[int] = set()
|
||||||
|
outside_udp: set[int] = set()
|
||||||
|
loopback_tcp: set[int] = set()
|
||||||
|
netstat = compose("exec", "-T", "s3", "sh", "-c", S3_LISTEN_COMMAND)
|
||||||
|
for line in netstat.splitlines():
|
||||||
|
parts = line.split()
|
||||||
|
if len(parts) < 4 or not parts[0].startswith(("tcp", "udp")):
|
||||||
|
continue
|
||||||
|
host, port = parts[3].rsplit(":", 1)
|
||||||
|
try:
|
||||||
|
on_loopback = ipaddress.ip_address(host).is_loopback
|
||||||
|
except ValueError:
|
||||||
|
on_loopback = False
|
||||||
|
tcp = parts[0].startswith("tcp")
|
||||||
|
if on_loopback:
|
||||||
|
if tcp:
|
||||||
|
loopback_tcp.add(int(port))
|
||||||
|
elif tcp:
|
||||||
|
outside_tcp.add(int(port))
|
||||||
|
else:
|
||||||
|
outside_udp.add(int(port))
|
||||||
|
outside = [str(p) for p in sorted(outside_tcp)]
|
||||||
|
outside += [f"udp/{p}" for p in sorted(outside_udp)]
|
||||||
|
return outside, sorted(loopback_tcp - outside_tcp)
|
||||||
|
|
||||||
|
|
||||||
def s3_stand() -> dict[str, str]:
|
def s3_stand() -> dict[str, str]:
|
||||||
"""Параметры S3 стенда из `docker compose config` без секретов:
|
"""Параметры S3 стенда из `docker compose config` без секретов:
|
||||||
проект, образ, адрес и порт в сети, порт на хосте, bucket."""
|
проект, образ, адрес и порт в сети, порт на хосте, bucket."""
|
||||||
@@ -1691,8 +1709,10 @@ def cmd_s3_check() -> int:
|
|||||||
проверяет свои права, чужой bucket (временный) и административные
|
проверяет свои права, чужой bucket (временный) и административные
|
||||||
запросы; аноним изнутри сервера.
|
запросы; аноним изнутри сервера.
|
||||||
2. Анонимные запросы к объекту с хоста (`127.0.0.1:S3_OUT_PORT`) и из
|
2. Анонимные запросы к объекту с хоста (`127.0.0.1:S3_OUT_PORT`) и из
|
||||||
сети стенда (одноразовый контейнер того же образа), порты
|
сети стенда (одноразовый контейнер того же образа). Порты:
|
||||||
контейнера S3 из сети.
|
слушающие сокеты контейнера S3 (`netstat`) — вне loopback ровно
|
||||||
|
API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты
|
||||||
|
(`nc -z`).
|
||||||
3. Bootstrap в режиме `cleanup`: объект и временные bucket-ы удалены,
|
3. Bootstrap в режиме `cleanup`: объект и временные bucket-ы удалены,
|
||||||
остатков нет (`weed shell` в контейнере `s3`).
|
остатков нет (`weed shell` в контейнере `s3`).
|
||||||
|
|
||||||
@@ -1746,6 +1766,18 @@ def cmd_s3_check() -> int:
|
|||||||
rows.append(
|
rows.append(
|
||||||
("host", name, "403", anonymous_code(url, method, data)),
|
("host", name, "403", anonymous_code(url, method, data)),
|
||||||
)
|
)
|
||||||
|
# вне loopback — ровно API S3 и gRPC шлюза; остальные слушающие
|
||||||
|
# порты сервера из сети стенда закрыты (nc -z ниже)
|
||||||
|
outside, loopback_only = s3_listening()
|
||||||
|
grpc_port = int(stand["port"]) + 10000
|
||||||
|
rows.append(
|
||||||
|
(
|
||||||
|
"server",
|
||||||
|
"listening outside loopback",
|
||||||
|
f"{stand['port']} {grpc_port}",
|
||||||
|
" ".join(outside) or "-",
|
||||||
|
),
|
||||||
|
)
|
||||||
network = subprocess.run(
|
network = subprocess.run(
|
||||||
[
|
[
|
||||||
"docker",
|
"docker",
|
||||||
@@ -1758,13 +1790,13 @@ def cmd_s3_check() -> int:
|
|||||||
"-e",
|
"-e",
|
||||||
f"S3_PORT={stand['port']}",
|
f"S3_PORT={stand['port']}",
|
||||||
"-e",
|
"-e",
|
||||||
f"S3_GRPC_PORT={int(stand['port']) + 10000}",
|
f"S3_GRPC_PORT={grpc_port}",
|
||||||
"-e",
|
"-e",
|
||||||
f"S3_BUCKET={stand['bucket']}",
|
f"S3_BUCKET={stand['bucket']}",
|
||||||
"-e",
|
"-e",
|
||||||
f"S3_KEY={S3_CHECK_KEY}",
|
f"S3_KEY={S3_CHECK_KEY}",
|
||||||
"-e",
|
"-e",
|
||||||
"S3_CLOSED=" + " ".join(str(p) for p in S3_CLOSED_PORTS),
|
"S3_CLOSED=" + " ".join(str(p) for p in loopback_only),
|
||||||
"--entrypoint",
|
"--entrypoint",
|
||||||
"sh",
|
"sh",
|
||||||
stand["image"],
|
stand["image"],
|
||||||
@@ -1804,19 +1836,24 @@ def cmd_s3_check() -> int:
|
|||||||
rows.append(("server", "probe objects left", "0", str(left_objects)))
|
rows.append(("server", "probe objects left", "0", str(left_objects)))
|
||||||
|
|
||||||
width = max(len(name) for _, name, _, _ in rows)
|
width = max(len(name) for _, name, _, _ in rows)
|
||||||
|
e_width = max(len("expected"), *(len(e) for _, _, e, _ in rows))
|
||||||
|
g_width = max(len("got"), *(len(g) for _, _, _, g in rows))
|
||||||
print(
|
print(
|
||||||
f"S3 {stand['host']}:{stand['port']} (host 127.0.0.1:"
|
f"S3 {stand['host']}:{stand['port']} (host 127.0.0.1:"
|
||||||
f"{stand['out_port']}), bucket {stand['bucket']}, image "
|
f"{stand['out_port']}), bucket {stand['bucket']}, image "
|
||||||
f"{stand['image'].split('@')[0]}",
|
f"{stand['image'].split('@')[0]}",
|
||||||
)
|
)
|
||||||
print(f"{'where':<8} {'check':<{width}} expected got verdict")
|
print(
|
||||||
|
f"{'where':<8} {'check':<{width}} {'expected':<{e_width}} "
|
||||||
|
f"{'got':<{g_width}} verdict",
|
||||||
|
)
|
||||||
failed = 0
|
failed = 0
|
||||||
for where, name, expected, got in rows:
|
for where, name, expected, got in rows:
|
||||||
ok = expected == got
|
ok = expected == got
|
||||||
failed += not ok
|
failed += not ok
|
||||||
print(
|
print(
|
||||||
f"{where:<8} {name:<{width}} {expected:<8} {got:<6} "
|
f"{where:<8} {name:<{width}} {expected:<{e_width}} "
|
||||||
f"{'ok' if ok else 'FAIL'}",
|
f"{got:<{g_width}} {'ok' if ok else 'FAIL'}",
|
||||||
)
|
)
|
||||||
for problem in problems:
|
for problem in problems:
|
||||||
print(f"FAIL: {problem}")
|
print(f"FAIL: {problem}")
|
||||||
|
|||||||
@@ -368,7 +368,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
|||||||
test_rubric.py, test_race.py # обязательные сценарии и гонки уровня 4
|
test_rubric.py, test_race.py # обязательные сценарии и гонки уровня 4
|
||||||
test_<capability>.py # сценарии основных спеков, маркер @pytest.mark.spec
|
test_<capability>.py # сценарии основных спеков, маркер @pytest.mark.spec
|
||||||
test_failures.py # проверки отказов (маркер fault): только make failure_checks
|
test_failures.py # проверки отказов (маркер fault): только make failure_checks
|
||||||
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, префикс только из проверенного имени) (stdlib)
|
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
|
||||||
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap), два API, pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), уборка (stdlib)
|
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap), два API, pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), уборка (stdlib)
|
||||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
|
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
|
||||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
||||||
|
|||||||
@@ -542,6 +542,23 @@ design) и «Вопросы» (ждут ответа; ответ дописыв
|
|||||||
17. **`rollout_from c50b721` — дефект переноса** (`KNOWN_ISSUES.md`):
|
17. **`rollout_from c50b721` — дефект переноса** (`KNOWN_ISSUES.md`):
|
||||||
профиль `rollout` проверен с `--from 5d5d8f9`.
|
профиль `rollout` проверен с `--from 5d5d8f9`.
|
||||||
|
|
||||||
|
Приняты 2026-10-20 в правках по `/opsx:verify` (tasks.md, группа 7),
|
||||||
|
подробности — design change `s3-storage`, «Уточнения apply», п. 8–13.
|
||||||
|
|
||||||
|
18. **Healthcheck S3 ждёт регистрации тома** (`/dir/status`, непустой
|
||||||
|
`DataNodes`): первая запись после рестарта — 10–40 мс вместо до
|
||||||
|
4,8 с при сроке 5 с. Та же проба — в `fault_hook.py`.
|
||||||
|
19. **`tmpfs: [/tmp, /data]` у `s3-bootstrap`**: без анонимного volume на
|
||||||
|
каждый контейнер.
|
||||||
|
20. **Клиент S3**: удалённый bucket и отказ в доступе — 503 с `error`
|
||||||
|
(«bucket is missing», «denied access»), а не «объекта нет» и не
|
||||||
|
«rejected credentials»; `delete` глушит только отсутствующий ключ.
|
||||||
|
Ограничение: HEAD без тела, удалённый bucket у `head` — `None`.
|
||||||
|
21. **`make test_isolated` проверяет уборку префикса** (`fs.ls` после
|
||||||
|
`fs.rm`): код 0 `weed shell` успеха не значит.
|
||||||
|
22. **`make s3_check` берёт порты из `netstat` контейнера S3**, а не из
|
||||||
|
фиксированного списка; проверка готовности без S3 — и для `pause`.
|
||||||
|
|
||||||
#### Вопросы
|
#### Вопросы
|
||||||
|
|
||||||
1. Как в apply добавить строки S3 в рабочий `.env`? Агент `.env` не
|
1. Как в apply добавить строки S3 в рабочий `.env`? Агент `.env` не
|
||||||
|
|||||||
@@ -80,8 +80,8 @@ design change `s3-storage`. Три места, где SeaweedFS по умолч
|
|||||||
| миграции | `migrate` | образ API | код выхода 0 (`service_completed_successfully`) | — | сеть | пароль PostgreSQL |
|
| миграции | `migrate` | образ API | код выхода 0 (`service_completed_successfully`) | — | сеть | пароль PostgreSQL |
|
||||||
| postgres | `postgres` | `postgres:18.6-trixie@sha256:5a5a84b1…9722` | `pg_isready -h 127.0.0.1` | `postgres_data` | `127.0.0.1:5433` → `5432` | `POSTGRES_PASSWORD` |
|
| postgres | `postgres` | `postgres:18.6-trixie@sha256:5a5a84b1…9722` | `pg_isready -h 127.0.0.1` | `postgres_data` | `127.0.0.1:5433` → `5432` | `POSTGRES_PASSWORD` |
|
||||||
| кэш (необязательная роль) | `valkey` | `valkey/valkey:9.1.2-trixie@sha256:418652cf…9dfd` | `valkey-cli ping` с паролем | — (persistence выключен) | `127.0.0.1:6380` → `6379` | `VALKEY_PASSWORD` |
|
| кэш (необязательная роль) | `valkey` | `valkey/valkey:9.1.2-trixie@sha256:418652cf…9dfd` | `valkey-cli ping` с паролем | — (persistence выключен) | `127.0.0.1:6380` → `6379` | `VALKEY_PASSWORD` |
|
||||||
| s3 | `s3` | `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d` | `wget`: `/cluster/healthz` master, `/healthz` filer и шлюза (loopback) | `s3_data:/data` | `127.0.0.1:8334` → `8333` (только API S3); в сети — `8333` и gRPC шлюза `18333`, служебные порты на loopback | административная пара (`AWS_*` из `S3_ROOT_*`) и ключ подписи (`WEED_JWT_FILER_SIGNING_KEY` из `S3_JWT_SIGNING_KEY`) — окружением |
|
| s3 | `s3` | `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d` | `wget`: `/cluster/healthz` master, том зарегистрирован (`DataNodes` в `/dir/status`), `/healthz` filer и шлюза (loopback) | `s3_data:/data` | `127.0.0.1:8334` → `8333` (только API S3); в сети — `8333` и gRPC шлюза `18333`, служебные порты на loopback | административная пара (`AWS_*` из `S3_ROOT_*`) и ключ подписи (`WEED_JWT_FILER_SIGNING_KEY` из `S3_JWT_SIGNING_KEY`) — окружением |
|
||||||
| bootstrap S3 | `s3-bootstrap` | тот же образ S3 | код выхода 0; реплики ждут `service_completed_successfully` | — (`/tmp` — tmpfs) | `network_mode: service:s3`, портов нет | ключ подписи и ключи API — окружением; в `weed shell` через stdin, в `curl` файлом на tmpfs |
|
| bootstrap S3 | `s3-bootstrap` | тот же образ S3 | код выхода 0; реплики ждут `service_completed_successfully` | — (`/tmp` и `/data` — tmpfs) | `network_mode: service:s3`, портов нет | ключ подписи и ключи API — окружением; в `weed shell` через stdin, в `curl` файлом на tmpfs |
|
||||||
|
|
||||||
Лимиты:
|
Лимиты:
|
||||||
- postgres 2 CPU / 1 ГБ, valkey 0,5 / 128 МБ, s3 1 / 512 МБ;
|
- postgres 2 CPU / 1 ГБ, valkey 0,5 / 128 МБ, s3 1 / 512 МБ;
|
||||||
|
|||||||
+11
-6
@@ -193,9 +193,12 @@ services:
|
|||||||
aliases:
|
aliases:
|
||||||
- ${S3_HOST:-s3}
|
- ${S3_HOST:-s3}
|
||||||
healthcheck:
|
healthcheck:
|
||||||
# master выбран, filer и шлюз S3 отвечают; всё на loopback. $$ —
|
# master выбран, том зарегистрирован у master (непустой DataNodes в
|
||||||
# переменная контейнера
|
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
|
||||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
|
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
|
||||||
|
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
|
||||||
|
# контейнера
|
||||||
|
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
|
||||||
interval: 5s
|
interval: 5s
|
||||||
timeout: 3s
|
timeout: 3s
|
||||||
retries: 10
|
retries: 10
|
||||||
@@ -239,9 +242,12 @@ services:
|
|||||||
read_only: true
|
read_only: true
|
||||||
bind:
|
bind:
|
||||||
create_host_path: false
|
create_host_path: false
|
||||||
# файл ключа для curl и политика — только в памяти
|
# файл ключа для curl и политика — только в памяти. /data — volume
|
||||||
|
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
|
||||||
|
# оставлял бы анонимный volume
|
||||||
tmpfs:
|
tmpfs:
|
||||||
- /tmp
|
- /tmp
|
||||||
|
- /data
|
||||||
depends_on:
|
depends_on:
|
||||||
s3:
|
s3:
|
||||||
condition: service_healthy
|
condition: service_healthy
|
||||||
@@ -293,8 +299,7 @@ services:
|
|||||||
condition: service_healthy
|
condition: service_healthy
|
||||||
migrate:
|
migrate:
|
||||||
condition: service_completed_successfully
|
condition: service_completed_successfully
|
||||||
# bucket и пользователь API есть до первого запроса; первую запись
|
# bucket и пользователь API есть до первого запроса
|
||||||
# после старта S3 (~2,5 с) делает проверка bootstrap, а не клиент
|
|
||||||
s3-bootstrap:
|
s3-bootstrap:
|
||||||
condition: service_completed_successfully
|
condition: service_completed_successfully
|
||||||
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
|
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
|
||||||
|
|||||||
@@ -62,7 +62,7 @@ hook-ом проверяется напрямую (решение 9), без п
|
|||||||
| `GOMEMLIMIT=400MiB` + `-s3.concurrentUploadLimitMB=64` | 20 и 40 × 10 MiB PUT и GET без ошибок, анонимная память ≤ 271 MiB; лимит загрузки ставит запросы в очередь, а не отклоняет |
|
| `GOMEMLIMIT=400MiB` + `-s3.concurrentUploadLimitMB=64` | 20 и 40 × 10 MiB PUT и GET без ошибок, анонимная память ≤ 271 MiB; лимит загрузки ставит запросы в очередь, а не отклоняет |
|
||||||
| Без `GOMEMLIMIT`, только лимит загрузки | 40 × 10 MiB выдержал, анонимная память 476 MiB из 512 |
|
| Без `GOMEMLIMIT`, только лимит загрузки | 40 × 10 MiB выдержал, анонимная память 476 MiB из 512 |
|
||||||
| Клиент aiobotocore 3.9.2 (botocore 1.43.106, aiohttp 3.14.5), без повторов botocore (`total_max_attempts=1`) | контрольные суммы botocore по умолчанию принимаются; первый вызов старым клиентом после рестарта S3 проходит; `pause` — вызов обрывает `asyncio.timeout` ровно в срок; `stop` — `EndpointConnectionError` за 9 мс |
|
| Клиент aiobotocore 3.9.2 (botocore 1.43.106, aiohttp 3.14.5), без повторов botocore (`total_max_attempts=1`) | контрольные суммы botocore по умолчанию принимаются; первый вызов старым клиентом после рестарта S3 проходит; `pause` — вызов обрывает `asyncio.timeout` ровно в срок; `stop` — `EndpointConnectionError` за 9 мс |
|
||||||
| Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент (вероятно, том ещё регистрируется у master); следующие — 5–25 мс |
|
| Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент; следующие — 5–25 мс. Причина найдена в verify (уточнения apply, п. 8): `healthy` по master, filer и шлюзу наступает до регистрации тома у master (~4 с разницы), ожидание доходило до 4,8 с при сроке вызова 5 с. Healthcheck теперь ждёт и том |
|
||||||
| Цена клиента на хосте | импорт 80–160 мс, создание клиента 35–60 мс, +45 MiB RSS, установленные пакеты ~27 MiB |
|
| Цена клиента на хосте | импорт 80–160 мс, создание клиента 35–60 мс, +45 MiB RSS, установленные пакеты ~27 MiB |
|
||||||
|
|
||||||
Без ключа подписи сервер к тому же пишет при старте ошибку «no signing
|
Без ключа подписи сервер к тому же пишет при старте ошибку «no signing
|
||||||
@@ -122,10 +122,12 @@ Entrypoint образа добавляет `-dir=/data -volume.max=0
|
|||||||
- алиас в сети `${S3_HOST}`;
|
- алиас в сети `${S3_HOST}`;
|
||||||
- публикация `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`.
|
- публикация `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`.
|
||||||
|
|
||||||
Healthcheck на `wget` проверяет `/cluster/healthz` master,
|
Healthcheck на `wget` проверяет `/cluster/healthz` master, список
|
||||||
`/healthz` filer на loopback и `/healthz` шлюза S3 на
|
data node в `/dir/status` master (непустой `DataNodes`), `/healthz`
|
||||||
`$$S3_PORT`, с `start_interval: 1s`. Процесс один, но так `healthy`
|
filer на loopback и `/healthz` шлюза S3 на `$$S3_PORT`, с
|
||||||
значит «master выбран, filer и шлюз отвечают».
|
`start_interval: 1s`. Процесс один, но так `healthy` значит «master
|
||||||
|
выбран, том зарегистрирован у master, filer и шлюз отвечают» и первая
|
||||||
|
запись не ждёт регистрации тома (уточнения apply, п. 8).
|
||||||
|
|
||||||
*Альтернатива:* отдельные контейнеры master, volume, filer и s3 в
|
*Альтернатива:* отдельные контейнеры master, volume, filer и s3 в
|
||||||
своей сети. Отвергнута: четыре сервиса с healthcheck, лимитами и
|
своей сети. Отвергнута: четыре сервиса с healthcheck, лимитами и
|
||||||
@@ -192,7 +194,9 @@ API. Отвергнута: нужен клиент IAM (ещё образ или
|
|||||||
Сервис `s3-bootstrap`:
|
Сервис `s3-bootstrap`:
|
||||||
- образ тот же, что у `s3`, `network_mode: service:s3`: master и filer
|
- образ тот же, что у `s3`, `network_mode: service:s3`: master и filer
|
||||||
на `127.0.0.1` сервера доступны ему, а в сети их нет;
|
на `127.0.0.1` сервера доступны ему, а в сети их нет;
|
||||||
- `user: seaweed`, `restart: "no"`, `tmpfs: /tmp`;
|
- `user: seaweed`, `restart: "no"`, `tmpfs: [/tmp, /data]` (`/data` —
|
||||||
|
volume образа: без tmpfs каждый новый контейнер оставлял бы анонимный
|
||||||
|
volume, уточнения apply, п. 9);
|
||||||
- скрипт `infra/s3/bootstrap.sh` монтируется только на чтение длинной
|
- скрипт `infra/s3/bootstrap.sh` монтируется только на чтение длинной
|
||||||
записью с `create_host_path: false`;
|
записью с `create_host_path: false`;
|
||||||
- `depends_on: s3: service_healthy`;
|
- `depends_on: s3: service_healthy`;
|
||||||
@@ -321,8 +325,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
|
|||||||
- Срок: каждый вызов в `asyncio.timeout([s3] timeout_seconds)`. Повторов
|
- Срок: каждый вызов в `asyncio.timeout([s3] timeout_seconds)`. Повторов
|
||||||
нет. Рестарт S3 повтора не требует (Context), а таймаут, как у
|
нет. Рестарт S3 повтора не требует (Context), а таймаут, как у
|
||||||
Valkey, не повторяется. Загрузку клиент контракта повторяет сам.
|
Valkey, не повторяется. Загрузку клиент контракта повторяет сам.
|
||||||
Первая запись после старта S3 может ждать ~2,5 с, это меньше срока.
|
Первая запись после старта S3 ждала регистрации тома у master до
|
||||||
На штатном стенде её делает проверка bootstrap до старта реплик.
|
4,8 с — почти весь срок; теперь `healthy` наступает после регистрации
|
||||||
|
(решение 1), и первая запись после рестарта — 10–40 мс (уточнения
|
||||||
|
apply, п. 8).
|
||||||
- Операции:
|
- Операции:
|
||||||
- `put(key, data, content_type)`;
|
- `put(key, data, content_type)`;
|
||||||
- `open(key)` — асинхронный контекст с размером, типом и чтением
|
- `open(key)` — асинхронный контекст с размером, типом и чтением
|
||||||
@@ -336,8 +342,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
|
|||||||
| Что пришло | Исключение | Журнал |
|
| Что пришло | Исключение | Журнал |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| отказ соединения, обрыв, таймаут сокета или срока, 5xx | `ObjectStorageUnavailable` (наследник `ServiceUnavailable` → 503 `unavailable` по таблице `errors.py`) | `warning` «Object storage is unavailable» с классом ошибки |
|
| отказ соединения, обрыв, таймаут сокета или срока, 5xx | `ObjectStorageUnavailable` (наследник `ServiceUnavailable` → 503 `unavailable` по таблице `errors.py`) | `warning` «Object storage is unavailable» с классом ошибки |
|
||||||
| 403 `AccessDenied`, `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей |
|
| 403 `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей |
|
||||||
| `NoSuchKey` / 404 у `open` | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет |
|
| 403 `AccessDenied` и 403 без тела (HEAD) | то же исключение | `error` «Object storage denied access» (уточнения apply, п. 10) |
|
||||||
|
| 404 `NoSuchBucket` | то же исключение | `error` «Object storage bucket is missing» (п. 10) |
|
||||||
|
| `NoSuchKey` / 404 без тела (HEAD) | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет |
|
||||||
| прочие ошибки S3 | без перевода | 500 и traceback, это дефект |
|
| прочие ошибки S3 | без перевода | 500 и traceback, это дефект |
|
||||||
|
|
||||||
- Ключ объекта строит repo в `attachments`: `f"{namespace}/{…}"`. Здесь
|
- Ключ объекта строит repo в `attachments`: `f"{namespace}/{…}"`. Здесь
|
||||||
@@ -564,3 +572,52 @@ PostgreSQL change не трогает.
|
|||||||
`KNOWN_ISSUES.md`. `make bench_rollout_quick` падает за 6 с;
|
`KNOWN_ISSUES.md`. `make bench_rollout_quick` падает за 6 с;
|
||||||
самопроверка профиля — `bench/run.py --profile rollout_quick --from
|
самопроверка профиля — `bench/run.py --profile rollout_quick --from
|
||||||
5d5d8f9` (код 0).
|
5d5d8f9` (код 0).
|
||||||
|
|
||||||
|
Правки по находкам `/opsx:verify` (2026-10-20, tasks.md, группа 7):
|
||||||
|
|
||||||
|
8. **Healthcheck ждёт регистрации тома** (W1, решение 1). `healthy` по
|
||||||
|
master, filer и шлюзу наступал через ~3 с после старта, а volume
|
||||||
|
регистрировался у master через ~7 с (опрос `/dir/status` раз в 0,5 с:
|
||||||
|
до регистрации `"DataCenters":null`, после — `"DataNodes":[{…}]`).
|
||||||
|
Первая запись ждала регистрации: до правки 2 из 8 рестартов — 4771 и
|
||||||
|
2523 мс, у verify 3 из 12 — до 4784 мс при сроке 5 с. Проверка
|
||||||
|
`wget -q -O - …/dir/status | grep -qF '"DataNodes":[{'` в healthcheck
|
||||||
|
и пробе `fault_hook.py`. После правки: 12 рестартов и 6 `kill` — первая
|
||||||
|
запись 10–40 мс. Свежий volume (tmpfs) тоже проходит: data node
|
||||||
|
регистрируется и без томов, bootstrap создаёт bucket.
|
||||||
|
9. **`tmpfs: [/tmp, /data]` у `s3-bootstrap`** (W2, решение 4). Образ
|
||||||
|
объявляет `VOLUME /data`, и каждый новый контейнер bootstrap создавал
|
||||||
|
анонимный volume. Пересоздание контейнера compose переносит прежний
|
||||||
|
анонимный volume на новый — на рабочем стенде он отвязан `docker
|
||||||
|
compose up -d --no-deps --renew-anon-volumes s3-bootstrap` и остался
|
||||||
|
висячим (удалять volumes агенту нельзя).
|
||||||
|
10. **Ошибки bucket и доступа** (S1, решение 7). `NoSuchBucket` —
|
||||||
|
`ObjectStorageUnavailable` и `error` «Object storage bucket is
|
||||||
|
missing»; `AccessDenied` и 403 без тела — `ObjectStorageUnavailable` и
|
||||||
|
`error` «Object storage denied access»; «rejected credentials» — только
|
||||||
|
`InvalidAccessKeyId` и `SignatureDoesNotMatch`. Любой 404 больше не
|
||||||
|
значит «объекта нет»: только `NoSuchKey` и 404 без тела у HEAD.
|
||||||
|
`delete` глушит только `StoredObjectMissing`. Проверено на временном
|
||||||
|
стенде с удалённым bucket: PUT SeaweedFS отвечает `AccessDenied`, GET
|
||||||
|
и DELETE — `NoSuchBucket`, HEAD — 404 без тела, как у отсутствующего
|
||||||
|
ключа. Поэтому `head` удалённого bucket по-прежнему `None`, а неверный
|
||||||
|
секрет у HEAD — «denied access» (403 без кода): ограничение HEAD, не
|
||||||
|
клиента.
|
||||||
|
11. **Уборка префикса проверяется** (S2, решение 9). `weed shell` выходит
|
||||||
|
с кодом 0 и при ошибке (`rm: <путь>: LookupEntry1: … connection
|
||||||
|
refused`). `remove_objects` разбирает строки `rm:` (кроме «no entry is
|
||||||
|
found» — префикса нет) и проверяет пустой `fs.ls` префикса; иначе
|
||||||
|
`RuntimeError`: в начале прогона — код 1 до тестов, в уборке —
|
||||||
|
«cleanup failed», код 1.
|
||||||
|
12. **Готовность при замороженном S3** (S3). `test_readiness_without_
|
||||||
|
object_storage` параметризован `stop` и `pause`; сценарий `health`
|
||||||
|
«Хранилище объектов недоступно» называет оба (основной спек и
|
||||||
|
дельта).
|
||||||
|
13. **Порты S3 — со слушающих сокетов** (S4, решение 8). `driver.py
|
||||||
|
s3-check` берёт `netstat -tuln` контейнера `s3`: вне loopback (не
|
||||||
|
`127.0.0.0/8` и не `::1`) должно быть ровно `S3_PORT` и `S3_PORT` +
|
||||||
|
10000, а остальные слушающие TCP-порты из сети закрыты (`nc -z`).
|
||||||
|
Фиксированный список `S3_CLOSED_PORTS` убран: новый порт нового
|
||||||
|
выпуска SeaweedFS он бы пропустил. Отрицательная проверка — временный
|
||||||
|
стенд с `-ip.bind=0.0.0.0`: код 1, лишние 8080, 8888, 9333, 18080,
|
||||||
|
18888, 19333.
|
||||||
|
|||||||
@@ -39,6 +39,7 @@
|
|||||||
|
|
||||||
#### Scenario: Хранилище объектов недоступно
|
#### Scenario: Хранилище объектов недоступно
|
||||||
|
|
||||||
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен
|
- **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
|
||||||
|
PostgreSQL доступен
|
||||||
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
||||||
секунды: проверка к S3 не обращается
|
секунды: проверка к S3 не обращается
|
||||||
|
|||||||
@@ -18,7 +18,9 @@ S3-хранилище байтов стенда с лабы 4. Здесь опи
|
|||||||
S3-совместимый сервер. Его образ SHALL быть закреплён тегом с версией и
|
S3-совместимый сервер. Его образ SHALL быть закреплён тегом с версией и
|
||||||
digest индекса. Данные сервера SHALL
|
digest индекса. Данные сервера SHALL
|
||||||
храниться в именованном volume. Сервису SHALL быть заданы:
|
храниться в именованном volume. Сервису SHALL быть заданы:
|
||||||
- healthcheck, который проверяет готовность обслуживать запросы S3;
|
- healthcheck, который проверяет готовность обслуживать запросы S3, в
|
||||||
|
том числе запись объекта: `healthy` MUST NOT наступать раньше, чем
|
||||||
|
хранилище томов готово принять запись;
|
||||||
- лимиты CPU и памяти;
|
- лимиты CPU и памяти;
|
||||||
- перезапуск после сбоя;
|
- перезапуск после сбоя;
|
||||||
- срок остановки, за который сервер завершается сам, без принудительного
|
- срок остановки, за который сервер завершается сам, без принудительного
|
||||||
@@ -34,6 +36,13 @@ digest индекса. Данные сервера SHALL
|
|||||||
- **THEN** контейнер S3 в состоянии `healthy`, его образ указан тегом с
|
- **THEN** контейнер S3 в состоянии `healthy`, его образ указан тегом с
|
||||||
версией и digest, а данные лежат в именованном volume проекта
|
версией и digest, а данные лежат в именованном volume проекта
|
||||||
|
|
||||||
|
#### Scenario: Первая запись после healthy
|
||||||
|
|
||||||
|
- **WHEN** контейнер S3 перезапущен с сохранённым volume и стал
|
||||||
|
`healthy`, и сразу после этого ключом API записывается объект
|
||||||
|
- **THEN** первая запись проходит заметно быстрее срока вызова клиента
|
||||||
|
(`[s3] timeout_seconds`), а не ждёт регистрации хранилища томов
|
||||||
|
|
||||||
#### Scenario: Остановка сервера
|
#### Scenario: Остановка сервера
|
||||||
|
|
||||||
- **WHEN** выполняется `docker compose stop s3`
|
- **WHEN** выполняется `docker compose stop s3`
|
||||||
@@ -273,10 +282,12 @@ SHALL сохраняться и после принудительного зав
|
|||||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||||
- недоступен;
|
- недоступен;
|
||||||
- не ответил за срок;
|
- не ответил за срок;
|
||||||
- отклонил учётные данные.
|
- отклонил учётные данные;
|
||||||
|
- отказал ключу API в доступе или не нашёл bucket.
|
||||||
|
|
||||||
Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL
|
Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL
|
||||||
отличаться от недоступности. После возврата S3 вызовы SHALL проходить
|
отличаться от недоступности: отсутствующий bucket MUST NOT выдаваться за
|
||||||
|
отсутствующий объект у записи, чтения и удаления. После возврата S3 вызовы SHALL проходить
|
||||||
без перезапуска приложения. Соединения с S3 SHALL открываться при
|
без перезапуска приложения. Соединения с S3 SHALL открываться при
|
||||||
первом вызове, а при остановке сервиса клиент SHALL закрываться.
|
первом вызове, а при остановке сервиса клиент SHALL закрываться.
|
||||||
|
|
||||||
@@ -307,6 +318,13 @@ SHALL сохраняться и после принудительного зав
|
|||||||
- **WHEN** приложение читает ключ, которого в bucket нет
|
- **WHEN** приложение читает ключ, которого в bucket нет
|
||||||
- **THEN** клиент сообщает, что объекта нет, а не недоступность S3
|
- **THEN** клиент сообщает, что объекта нет, а не недоступность S3
|
||||||
|
|
||||||
|
#### Scenario: Bucket нет
|
||||||
|
|
||||||
|
- **WHEN** bucket приложения удалён мимо bootstrap, и приложение
|
||||||
|
записывает, читает или удаляет объект
|
||||||
|
- **THEN** каждый вызов завершается ошибкой недоступности, а не
|
||||||
|
сообщением «объекта нет», и в журнале есть запись уровня `error`
|
||||||
|
|
||||||
#### Scenario: Учётные данные отклонены
|
#### Scenario: Учётные данные отклонены
|
||||||
|
|
||||||
- **WHEN** секрет API у приложения не совпадает с секретом на сервере
|
- **WHEN** секрет API у приложения не совпадает с секретом на сервере
|
||||||
|
|||||||
@@ -251,3 +251,91 @@
|
|||||||
- [x] 6.3 `make lint`, `make check`, `openspec validate s3-storage
|
- [x] 6.3 `make lint`, `make check`, `openspec validate s3-storage
|
||||||
--strict`, `graphify update .`; показать изменения и после
|
--strict`, `graphify update .`; показать изменения и после
|
||||||
подтверждения закоммитить evidence и отчёт.
|
подтверждения закоммитить evidence и отчёт.
|
||||||
|
|
||||||
|
## 7. Замечания проверки
|
||||||
|
|
||||||
|
Находки `/opsx:verify` (2026-10-20), все решено исправить. Решения —
|
||||||
|
design, «Уточнения apply», п. 8–13. Временный стенд проверок — проект
|
||||||
|
compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не создаёт),
|
||||||
|
`down` без `-v` после проверки.
|
||||||
|
|
||||||
|
- [x] 7.1 W1. S3 `healthy`, только когда master видит data node:
|
||||||
|
healthcheck `s3` в `docker-compose.yml` и `PROBES["s3"]` в
|
||||||
|
`student-tests/fault_hook.py` добавляют проверку `/dir/status` master
|
||||||
|
(непустой список `DataNodes`); сценарий «Первая запись после
|
||||||
|
healthy» в требовании «S3-хранилище в стенде» дельты `object-storage`;
|
||||||
|
числа в design (Context, решения 1 и 7), комментарий у `api`
|
||||||
|
в compose, `docker.md`, `student-tests.md`. Проверка:
|
||||||
|
- формат `/dir/status` сверен на стенде: сразу после старта
|
||||||
|
`DataNodes` нет, после регистрации тома — есть;
|
||||||
|
- `first_write.py` (scratchpad, срок вызова 30 с): до правки и после
|
||||||
|
— 12 рестартов `s3` с ожиданием `healthy`, первая запись после
|
||||||
|
правки быстрее 1 с во всех;
|
||||||
|
- `make failure_checks FAULT_ARGS='-k object_storage'` — проба hook
|
||||||
|
после `unpause` проходит.
|
||||||
|
- [x] 7.2 W2. `tmpfs: [/tmp, /data]` у `s3-bootstrap`: volume образа
|
||||||
|
`/data` больше не создаётся анонимным volume. В override стенда
|
||||||
|
отказов и `bench/` сервиса нет — они наследуют. Проверка:
|
||||||
|
- `docker inspect` контейнера `s3-bootstrap` — у `/data` тип `tmpfs`,
|
||||||
|
volume нет;
|
||||||
|
- число volumes (`docker volume ls -q | wc -l`) после `docker compose
|
||||||
|
up -d s3 s3-bootstrap` и `docker compose run --rm s3-bootstrap`
|
||||||
|
не растёт.
|
||||||
|
- [x] 7.3 S1. Клиент различает отсутствующий ключ и отсутствующий
|
||||||
|
bucket (`src/infra/s3/client.py`): `NoSuchBucket` —
|
||||||
|
`ObjectStorageUnavailable` и `error` «Object storage bucket is
|
||||||
|
missing»; `AccessDenied` и 403 без тела (HEAD) —
|
||||||
|
`ObjectStorageUnavailable` и `error` «Object storage denied access»
|
||||||
|
(не «rejected credentials»); `delete` глушит только отсутствующий
|
||||||
|
ключ. Сценарий «Bucket нет» в требовании «Клиент хранилища в
|
||||||
|
приложении» дельты `object-storage`; таблица ошибок design (решение
|
||||||
|
7), `infra.md`, `logging.md`. Проверка — разовый скрипт против
|
||||||
|
временного стенда:
|
||||||
|
- до правки: удалённый bucket — `open` и `delete` бросают
|
||||||
|
`StoredObjectMissing`, `put` пишет «rejected credentials»
|
||||||
|
(`AccessDenied`);
|
||||||
|
- после правки: удалённый bucket — `put`, `head`, `open`, `delete` —
|
||||||
|
`ObjectStorageUnavailable` и запись `error` о bucket; отсутствующий
|
||||||
|
ключ — `head` `None`, `open` `StoredObjectMissing`, `delete` без
|
||||||
|
ошибки; чужой bucket без прав — `ObjectStorageUnavailable` и
|
||||||
|
«denied access» у всех четырёх, `head` — не 500; неверный секрет —
|
||||||
|
«rejected credentials».
|
||||||
|
- [x] 7.4 S2. `run_isolated.py` после `fs.rm -r` проверяет `fs.ls`
|
||||||
|
префикса: остались записи или вывод `weed shell` с ошибкой — уборка
|
||||||
|
неуспешна, код 1, команда называет префикс. Проверка:
|
||||||
|
- разовым скриптом записать `test_<db>/probe`: проверка остатков до
|
||||||
|
удаления сообщает об остатке, после `remove_objects` — нет;
|
||||||
|
- `weed shell` с ошибкой при коде 0 (временный стенд) — `remove_objects`
|
||||||
|
бросает;
|
||||||
|
- `make test_isolated` — уборка префикса в выводе, без
|
||||||
|
«cleanup failed».
|
||||||
|
- [x] 7.5 S3. `test_readiness_without_object_storage` — для `stop` и
|
||||||
|
`pause` (параметр): готовность и `live` 200 быстрее секунды. Проверка:
|
||||||
|
`make failure_checks FAULT_ARGS='-k object_storage'` — 2 прошли; полный
|
||||||
|
`make failure_checks` — красное только по списку в шапке.
|
||||||
|
- [x] 7.6 S4. `make s3_check` берёт слушающие сокеты контейнера `s3`
|
||||||
|
(`netstat -tln` в контейнере) вместо списка `S3_CLOSED_PORTS`:
|
||||||
|
слушающие не на loopback — ровно {`S3_PORT`, `S3_PORT` + 10000},
|
||||||
|
остальные слушающие порты из сети стенда закрыты (`nc -z`). Проверка:
|
||||||
|
- на стенде — код 0, в таблице список слушающих портов;
|
||||||
|
- отрицательная: временный стенд с `-ip.bind=0.0.0.0` у `s3` —
|
||||||
|
код 1, названы лишние порты.
|
||||||
|
- [x] 7.7 `make lint`, `make check`, `openspec validate s3-storage
|
||||||
|
--strict`, `make s3_check`, `make failure_checks`, `make
|
||||||
|
test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4`
|
||||||
|
работает. Затем показать изменения, предложить сообщение коммита и
|
||||||
|
остановиться: evidence снимается с закоммиченного кода.
|
||||||
|
- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
|
||||||
|
датой, commit и стендом:
|
||||||
|
- `evidence/s3/restart.md` — первая запись после рестарта и `kill`
|
||||||
|
(`first_write.py`);
|
||||||
|
- `evidence/s3/client.md` — удалённый bucket, отказ в доступе,
|
||||||
|
отсутствующий ключ (`s1_check.py` на временном стенде);
|
||||||
|
- `evidence/s3/privacy.md` — `make s3_check` со слушающими портами и
|
||||||
|
отрицательная проверка;
|
||||||
|
- `evidence/tests/` — `make failure_checks` (оба варианта новой
|
||||||
|
проверки) и строки уборки `make test_isolated`;
|
||||||
|
- строки `REPORT.md`, которые ссылаются на эти файлы.
|
||||||
|
|
||||||
|
Проверка: `grep` по значениям секретов из `.env` в `evidence/` пуст;
|
||||||
|
`make lint`, `make check`, `openspec validate s3-storage --strict`.
|
||||||
|
|||||||
@@ -56,7 +56,8 @@ MUST NOT зависеть от состояния хранилища.
|
|||||||
|
|
||||||
#### Scenario: Хранилище объектов недоступно
|
#### Scenario: Хранилище объектов недоступно
|
||||||
|
|
||||||
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен
|
- **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
|
||||||
|
PostgreSQL доступен
|
||||||
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
|
||||||
секунды: проверка к S3 не обращается
|
секунды: проверка к S3 не обращается
|
||||||
|
|
||||||
|
|||||||
+35
-6
@@ -6,12 +6,17 @@ Design change `s3-storage`, решения 6–7. Каждый вызов огр
|
|||||||
Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки
|
Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки
|
||||||
переводятся в доменные исключения:
|
переводятся в доменные исключения:
|
||||||
|
|
||||||
- отказ соединения, обрыв, таймаут, 5xx и отказ в учётных данных —
|
- отказ соединения, обрыв, таймаут, 5xx, отказ в учётных данных или в
|
||||||
`ObjectStorageUnavailable` (503 `unavailable`);
|
доступе и отсутствующий bucket — `ObjectStorageUnavailable` (503
|
||||||
|
`unavailable`);
|
||||||
- отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` —
|
- отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` —
|
||||||
не ошибка);
|
не ошибка);
|
||||||
- прочие ошибки S3 не переводятся: 500, это дефект.
|
- прочие ошибки S3 не переводятся: 500, это дефект.
|
||||||
|
|
||||||
|
Удалённый bucket у HEAD не отличить от отсутствующего ключа: у ответа нет
|
||||||
|
тела, и SeaweedFS отвечает одинаковым 404. `head` тогда отдаёт `None`, а
|
||||||
|
`put`, `open` и `delete` — `ObjectStorageUnavailable`.
|
||||||
|
|
||||||
В журнал — адрес, bucket, ключ объекта, размер, длительность и класс
|
В журнал — адрес, bucket, ключ объекта, размер, длительность и класс
|
||||||
ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore,
|
ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore,
|
||||||
aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG
|
aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG
|
||||||
@@ -44,8 +49,14 @@ logger: AbstractLogger = get_logger().bind(module="object_storage")
|
|||||||
|
|
||||||
# коды отказа в учётных данных: секрет или ключ API не совпали с сервером
|
# коды отказа в учётных данных: секрет или ключ API не совпали с сервером
|
||||||
CREDENTIAL_ERROR_CODES = frozenset(
|
CREDENTIAL_ERROR_CODES = frozenset(
|
||||||
{"AccessDenied", "InvalidAccessKeyId", "SignatureDoesNotMatch"},
|
{"InvalidAccessKeyId", "SignatureDoesNotMatch"},
|
||||||
)
|
)
|
||||||
|
# отказ в доступе: у ключа нет прав на bucket или его уже нет (PUT в
|
||||||
|
# удалённый bucket SeaweedFS отклоняет так же); у HEAD тела нет, только
|
||||||
|
# статус
|
||||||
|
ACCESS_DENIED_ERROR_CODES = frozenset({"AccessDenied", "403", "Forbidden"})
|
||||||
|
# bucket нет: это не «объекта нет», а сломанный стенд
|
||||||
|
MISSING_BUCKET_ERROR_CODES = frozenset({"NoSuchBucket"})
|
||||||
# отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус
|
# отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус
|
||||||
MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"})
|
MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"})
|
||||||
# недоступность: отказ соединения и его таймаут (ConnectionError botocore:
|
# недоступность: отказ соединения и его таймаут (ConnectionError botocore:
|
||||||
@@ -204,8 +215,12 @@ class ObjectStorage:
|
|||||||
body.close()
|
body.close()
|
||||||
|
|
||||||
async def delete(self, key: str) -> None:
|
async def delete(self, key: str) -> None:
|
||||||
"""Удалить объект; отсутствие объекта — не ошибка."""
|
"""Удалить объект; отсутствие объекта — не ошибка, отсутствие
|
||||||
await self._call("delete_object", key)
|
bucket — `ObjectStorageUnavailable`."""
|
||||||
|
try:
|
||||||
|
await self._call("delete_object", key)
|
||||||
|
except StoredObjectMissing:
|
||||||
|
return
|
||||||
|
|
||||||
async def _get_client(self) -> Any:
|
async def _get_client(self) -> Any:
|
||||||
if self._client is not None:
|
if self._client is not None:
|
||||||
@@ -326,7 +341,14 @@ class ObjectStorage:
|
|||||||
"HTTPStatusCode",
|
"HTTPStatusCode",
|
||||||
0,
|
0,
|
||||||
)
|
)
|
||||||
if code in MISSING_ERROR_CODES or status == 404:
|
if code in MISSING_BUCKET_ERROR_CODES:
|
||||||
|
logger.error(
|
||||||
|
"Object storage bucket is missing",
|
||||||
|
error_code=code,
|
||||||
|
**fields,
|
||||||
|
)
|
||||||
|
return ObjectStorageUnavailable()
|
||||||
|
if code in MISSING_ERROR_CODES:
|
||||||
return StoredObjectMissing()
|
return StoredObjectMissing()
|
||||||
if code in CREDENTIAL_ERROR_CODES:
|
if code in CREDENTIAL_ERROR_CODES:
|
||||||
logger.error(
|
logger.error(
|
||||||
@@ -335,6 +357,13 @@ class ObjectStorage:
|
|||||||
**fields,
|
**fields,
|
||||||
)
|
)
|
||||||
return ObjectStorageUnavailable()
|
return ObjectStorageUnavailable()
|
||||||
|
if code in ACCESS_DENIED_ERROR_CODES or status == 403:
|
||||||
|
logger.error(
|
||||||
|
"Object storage denied access",
|
||||||
|
error_code=code,
|
||||||
|
**fields,
|
||||||
|
)
|
||||||
|
return ObjectStorageUnavailable()
|
||||||
if status >= 500:
|
if status >= 500:
|
||||||
logger.warning(
|
logger.warning(
|
||||||
"Object storage is unavailable",
|
"Object storage is unavailable",
|
||||||
|
|||||||
@@ -59,8 +59,11 @@ PROBES = {
|
|||||||
"postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" '
|
"postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" '
|
||||||
'-d "$POSTGRES_DB"',
|
'-d "$POSTGRES_DB"',
|
||||||
"valkey": 'test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG',
|
"valkey": 'test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG',
|
||||||
# master выбран, filer и шлюз S3 отвечают — как healthcheck сервиса s3
|
# master выбран, том зарегистрирован у master, filer и шлюз S3
|
||||||
|
# отвечают — как healthcheck сервиса s3
|
||||||
"s3": "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && "
|
"s3": "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && "
|
||||||
|
"wget -q -O - http://127.0.0.1:9333/dir/status | "
|
||||||
|
"grep -qF '\"DataNodes\":[{' && "
|
||||||
"wget -q -O /dev/null http://127.0.0.1:8888/healthz && "
|
"wget -q -O /dev/null http://127.0.0.1:8888/healthz && "
|
||||||
'wget -q -O /dev/null "http://127.0.0.1:$S3_PORT/healthz"',
|
'wget -q -O /dev/null "http://127.0.0.1:$S3_PORT/healthz"',
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -41,6 +41,9 @@ TEST_DB_NAME_RE = re.compile(r"^test_[a-z0-9_]+$")
|
|||||||
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
|
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
|
||||||
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
|
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
|
||||||
DEFAULT_BUCKET = "messenger"
|
DEFAULT_BUCKET = "messenger"
|
||||||
|
# fs.rm отсутствующего пути: «rm: <путь>: filer: no entry is found in filer
|
||||||
|
# store» — не ошибка уборки
|
||||||
|
WEED_NO_ENTRY = "no entry is found"
|
||||||
READY_TIMEOUT_S = 60
|
READY_TIMEOUT_S = 60
|
||||||
LOG_TAIL_LINES = 50
|
LOG_TAIL_LINES = 50
|
||||||
|
|
||||||
@@ -119,11 +122,11 @@ def object_prefix(bucket: str, test_db: str) -> str:
|
|||||||
return f"/buckets/{bucket}/{test_db}"
|
return f"/buckets/{bucket}/{test_db}"
|
||||||
|
|
||||||
|
|
||||||
def remove_objects(prefix: str) -> None:
|
def weed_shell(command: str) -> str:
|
||||||
"""Удалить объекты под префиксом временной базы; его отсутствие — не
|
"""Одна команда `weed shell` в контейнере `s3`: ключ подписи — в его
|
||||||
ошибка. `weed shell` в контейнере `s3`: ключ подписи — в его
|
окружении, master и filer — на его loopback. Вывод — stdout и stderr
|
||||||
окружении, master и filer — на его loopback."""
|
вместе."""
|
||||||
run(
|
result = run(
|
||||||
"docker",
|
"docker",
|
||||||
"compose",
|
"compose",
|
||||||
"exec",
|
"exec",
|
||||||
@@ -131,10 +134,31 @@ def remove_objects(prefix: str) -> None:
|
|||||||
"s3",
|
"s3",
|
||||||
"sh",
|
"sh",
|
||||||
"-c",
|
"-c",
|
||||||
"exec weed shell -master=127.0.0.1:9333",
|
"exec weed shell -master=127.0.0.1:9333 2>&1",
|
||||||
stdin=f"fs.rm -r {prefix}\n",
|
stdin=f"{command}\n",
|
||||||
quiet=True,
|
quiet=True,
|
||||||
)
|
)
|
||||||
|
return result.stdout
|
||||||
|
|
||||||
|
|
||||||
|
def remove_objects(prefix: str) -> None:
|
||||||
|
"""Удалить объекты под префиксом временной базы; его отсутствие — не
|
||||||
|
ошибка. `weed shell` выходит с кодом 0 и при ошибке команды, поэтому
|
||||||
|
успех проверяется отдельно: строк `rm:` с ошибкой нет, и `fs.ls`
|
||||||
|
префикса пуст. Иначе — `RuntimeError` с первой строкой ошибки."""
|
||||||
|
removed = weed_shell(f"fs.rm -r {prefix}")
|
||||||
|
# отсутствие префикса fs.rm печатает так же строкой rm: — это не ошибка
|
||||||
|
errors = [
|
||||||
|
line
|
||||||
|
for line in removed.splitlines()
|
||||||
|
if line.startswith("rm:") and WEED_NO_ENTRY not in line
|
||||||
|
]
|
||||||
|
left = [
|
||||||
|
line for line in weed_shell(f"fs.ls {prefix}").splitlines() if line
|
||||||
|
]
|
||||||
|
if errors or left:
|
||||||
|
detail = errors[0] if errors else f"{len(left)} entries left"
|
||||||
|
raise RuntimeError(f"objects {prefix}/ not removed: {detail}")
|
||||||
|
|
||||||
|
|
||||||
def remove_container(name: str) -> None:
|
def remove_container(name: str) -> None:
|
||||||
@@ -196,7 +220,11 @@ def main() -> int:
|
|||||||
remove_container(container)
|
remove_container(container)
|
||||||
drop_database(test_db)
|
drop_database(test_db)
|
||||||
say(f"remove objects {prefix}/")
|
say(f"remove objects {prefix}/")
|
||||||
remove_objects(prefix)
|
try:
|
||||||
|
remove_objects(prefix)
|
||||||
|
except (subprocess.CalledProcessError, RuntimeError) as e:
|
||||||
|
say(f"setup failed: {e}")
|
||||||
|
return 1
|
||||||
|
|
||||||
results: dict[str, int] = {}
|
results: dict[str, int] = {}
|
||||||
failed = True
|
failed = True
|
||||||
@@ -275,7 +303,7 @@ def main() -> int:
|
|||||||
drop_database(test_db)
|
drop_database(test_db)
|
||||||
say(f"remove objects {prefix}/")
|
say(f"remove objects {prefix}/")
|
||||||
remove_objects(prefix)
|
remove_objects(prefix)
|
||||||
except subprocess.CalledProcessError as e:
|
except (subprocess.CalledProcessError, RuntimeError) as e:
|
||||||
say(f"cleanup failed: {e}")
|
say(f"cleanup failed: {e}")
|
||||||
results["cleanup"] = 1
|
results["cleanup"] = 1
|
||||||
|
|
||||||
|
|||||||
@@ -353,8 +353,15 @@ def test_readiness_without_cache(api: Api, stand: Stand) -> None:
|
|||||||
|
|
||||||
|
|
||||||
@pytest.mark.spec("health", "Хранилище объектов недоступно")
|
@pytest.mark.spec("health", "Хранилище объектов недоступно")
|
||||||
def test_readiness_without_object_storage(api: Api, stand: Stand) -> None:
|
@pytest.mark.parametrize("action", ["stop", "pause"])
|
||||||
with outage(stand, "stop", "s3"):
|
def test_readiness_without_object_storage(
|
||||||
|
api: Api,
|
||||||
|
stand: Stand,
|
||||||
|
action: str,
|
||||||
|
) -> None:
|
||||||
|
# pause: соединение с S3 есть, ответа нет — проверка, которая всё же
|
||||||
|
# ходила бы в S3, ждала бы срока вызова (5 с), а не отказа соединения
|
||||||
|
with outage(stand, action, "s3"):
|
||||||
for path in ("/health/ready", "/health/live"):
|
for path in ("/health/ready", "/health/live"):
|
||||||
resp, took = timed(lambda path=path: api.request("GET", path))
|
resp, took = timed(lambda path=path: api.request("GET", path))
|
||||||
assert assert_ok(resp, 200, "Health") == {"status": "ok"}
|
assert assert_ok(resp, 200, "Health") == {"status": "ok"}
|
||||||
|
|||||||
Reference in New Issue
Block a user