fix: address s3-storage verify findings

- s3 healthcheck and fault hook probe wait for the volume server to
  register with master (first write after restart no longer waits ~5 s)
- s3-bootstrap mounts /data as tmpfs: no anonymous volume per container
- S3 client: NoSuchBucket and AccessDenied are 503 with their own error
  logs, not a missing object or rejected credentials; delete ignores only
  a missing key
- test_isolated verifies prefix removal (weed shell exits 0 on errors)
- s3_check derives ports from listening sockets in the s3 container
- readiness without S3 is also checked with s3 paused

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-20 21:23:38 +03:00
co-authored by Claude Opus 5.5
parent 7d340c0673
commit f57635a5fb
19 changed files with 388 additions and 80 deletions
+9 -2
View File
@@ -219,7 +219,11 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
Iceberg, Lance и IAM API выключены. Volume `s3_data:/data` Iceberg, Lance и IAM API выключены. Volume `s3_data:/data`
(`Config.Volumes`), алиас `${S3_HOST}`, публикация только (`Config.Volumes`), алиас `${S3_HOST}`, публикация только
`127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`. Healthcheck — `wget` на `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`. Healthcheck — `wget` на
`/cluster/healthz` master, `/healthz` filer и шлюза, всё на loopback. `/cluster/healthz` master, непустой `DataNodes` в `/dir/status`
master (том зарегистрирован), `/healthz` filer и шлюза, всё на
loopback. Без проверки тома `healthy` наступал на ~4 с раньше
регистрации, и первая запись ждала её почти весь срок вызова клиента
(5 с). Та же команда — проба `fault_hook.py`.
Лимиты 1 CPU / 512 МБ, `GOMEMLIMIT=400MiB` и Лимиты 1 CPU / 512 МБ, `GOMEMLIMIT=400MiB` и
`-s3.concurrentUploadLimitMB=64` (решение 2); `-s3.concurrentUploadLimitMB=64` (решение 2);
- **`stop_grace_period: 20s`**, а не 10: плавная остановка SeaweedFS - **`stop_grace_period: 20s`**, а не 10: плавная остановка SeaweedFS
@@ -235,7 +239,10 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
from .env.example»; from .env.example»;
- `s3-bootstrap` — `network_mode: service:s3` (master и filer сервера - `s3-bootstrap` — `network_mode: service:s3` (master и filer сервера
на его `127.0.0.1`), `user: seaweed`, `restart: "no"`, `tmpfs: на его `127.0.0.1`), `user: seaweed`, `restart: "no"`, `tmpfs:
/tmp` и `HOME=/tmp`, скрипт `infra/s3/bootstrap.sh` read-only [/tmp, /data]` и `HOME=/tmp` (`/data` — volume образа: без tmpfs
каждый новый контейнер bootstrap оставлял анонимный volume, а
пересоздание его переносит — `up -d --renew-anon-volumes
s3-bootstrap` отвязывает старый), скрипт `infra/s3/bootstrap.sh` read-only
длинной записью, `depends_on: s3: service_healthy`, лимиты 0,5 CPU / длинной записью, `depends_on: s3: service_healthy`, лимиты 0,5 CPU /
128 МБ. Режим `apply` (по умолчанию) идемпотентно сводит состояние 128 МБ. Режим `apply` (по умолчанию) идемпотентно сводит состояние
к `.env` (bucket, анонимный доступ `none`, политика `api-objects`, к `.env` (bucket, анонимный доступ `none`, политика `api-objects`,
+10 -6
View File
@@ -156,12 +156,16 @@ paths:
- ключи передаются в botocore всегда, даже пустые: с `None` он искал - ключи передаются в botocore всегда, даже пустые: с `None` он искал
бы учётные данные в окружении и `~/.aws` хоста. Пустые ключи — бы учётные данные в окружении и `~/.aws` хоста. Пустые ключи —
`warning` при старте; `warning` при старте;
- ошибки: отказ соединения, обрыв, таймаут, 5xx и отказ в учётных - ошибки: отказ соединения, обрыв, таймаут, 5xx, отказ в учётных
данных (`AccessDenied`, `InvalidAccessKeyId`, данных (`InvalidAccessKeyId`, `SignatureDoesNotMatch`), отказ в
`SignatureDoesNotMatch`) — `ObjectStorageUnavailable` (наследник доступе (`AccessDenied`, 403 без тела у HEAD) и отсутствующий bucket
`ServiceUnavailable`, 503 `unavailable`); отсутствующий ключ — (`NoSuchBucket`) — `ObjectStorageUnavailable` (наследник
`StoredObjectMissing` (`head` — `None`, `delete` — не ошибка); `ServiceUnavailable`, 503 `unavailable`); отсутствующий ключ
прочие ошибки S3 и botocore не перехватываются — 500, дефект; (`NoSuchKey`, 404 без тела у HEAD) — `StoredObjectMissing` (`head` —
`None`, `delete` глушит только его). Удалённый bucket не выдаётся за
отсутствующий объект; исключение — HEAD: SeaweedFS отвечает тем же
404 без тела. Прочие ошибки S3 и botocore не перехватываются — 500,
дефект;
- обхода и пропуска после отказа, как у Valkey, нет: без S3 путь - обхода и пропуска после отказа, как у Valkey, нет: без S3 путь
вложений всё равно 503. `/health/ready` S3 не проверяет (спек вложений всё равно 503. `/health/ready` S3 не проверяет (спек
`health`, решение 3 `PLAN.md`): текст работает без него. `health`, решение 3 `PLAN.md`): текст работает без него.
+4 -2
View File
@@ -128,8 +128,10 @@ paths:
обращений к S3 допустимы адрес S3, bucket, ключ объекта, размер, обращений к S3 допустимы адрес S3, bucket, ключ объекта, размер,
длительность и класс ошибки (спек `service-logging`). Клиент длительность и класс ошибки (спек `service-logging`). Клиент
(`src/infra/s3/client.py`, модуль `object_storage`) пишет `warning` (`src/infra/s3/client.py`, модуль `object_storage`) пишет `warning`
«Object storage is unavailable» на отказ и таймаут, `error` «Object «Object storage is unavailable» на отказ и таймаут, `error` с кодом
storage rejected credentials» с кодом ошибки S3, `debug` на успешный ошибки S3 — «Object storage rejected credentials» (неверный ключ или
подпись), «Object storage denied access» (`AccessDenied`) и «Object
storage bucket is missing» (`NoSuchBucket`), `debug` на успешный
вызов; текста исключения botocore в записи нет. Запись «Started API» — вызов; текста исключения botocore в записи нет. Запись «Started API» —
с `s3_host`, `s3_port`, `s3_bucket`; пустые ключи — `warning`. с `s3_host`, `s3_port`, `s3_bucket`; пустые ключи — `warning`.
- Stack trace — только в лог, никогда в ответ. - Stack trace — только в лог, никогда в ответ.
+6 -2
View File
@@ -100,7 +100,10 @@ paths:
исходе. С лабы 4 уборка удаляет и объекты под префиксом `test_<db>/` исходе. С лабы 4 уборка удаляет и объекты под префиксом `test_<db>/`
bucket — в начале (хвост прошлого прогона) и в конце: `docker compose bucket — в начале (хвост прошлого прогона) и в конце: `docker compose
exec -T s3` + `weed shell` `fs.rm -r /buckets/<bucket>/test_<db>` exec -T s3` + `weed shell` `fs.rm -r /buckets/<bucket>/test_<db>`
(отсутствие префикса — не ошибка). Префикс собирается только из (отсутствие префикса — не ошибка). `weed shell` выходит с кодом 0 и
при ошибке команды, поэтому успех проверяется отдельно: нет строк
`rm:` с ошибкой и `fs.ls` префикса пуст; иначе в начале — код 1 до
прогона, в уборке — «cleanup failed» и код 1. Префикс собирается только из
имени, прошедшего `^test_[a-z0-9_]+$`, и проверенного имени bucket, имени, прошедшего `^test_[a-z0-9_]+$`, и проверенного имени bucket,
иначе код 2 до любых действий: ошибка не может удалить рабочий иначе код 2 до любых действий: ошибка не может удалить рабочий
префикс. `KEEP_TEST_DB=1` оставляет базу и префикс и печатает оба. префикс. `KEEP_TEST_DB=1` оставляет базу и префикс и печатает оба.
@@ -155,7 +158,8 @@ paths:
намеренно. Действия: `stop` / `start` / намеренно. Действия: `stop` / `start` /
`pause` / `unpause` сервиса `postgres`, `valkey` или `s3` (у `s3` `pause` / `unpause` сервиса `postgres`, `valkey` или `s3` (у `s3`
проба после `unpause` — та же команда, что healthcheck: master, проба после `unpause` — та же команда, что healthcheck: master,
filer и шлюз; `test_readiness_without_object_storage` — спек `health`, зарегистрированный том, filer и шлюз;
`test_readiness_without_object_storage[stop|pause]` — спек `health`,
«Хранилище объектов недоступно»), `flush-cache`, `cache-hits`, `cache-has-chat`, «Хранилище объектов недоступно»), `flush-cache`, `cache-hits`, `cache-has-chat`,
`fail-members` (триггер, который роняет вставку участников), `fail-members` (триггер, который роняет вставку участников),
`fail-messages` (триггер, который роняет вставку сообщения с данным `fail-messages` (триггер, который роняет вставку сообщения с данным
+1 -1
View File
@@ -103,7 +103,7 @@ python3 $D stop
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) | | `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` | | `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` | | `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
| `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), временный чужой bucket (403 на всё), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3 из сети (`nc -z`: открыты только API S3 и gRPC шлюза); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` | | `s3-check` | стенд compose (`make s3_check`), без приложения: спек `object-storage` «Проверка приватности вне API». `docker compose run --rm --no-deps s3-bootstrap check` — права ключа API (PUT/GET/HEAD объекта, 404 отсутствующего; 403 на список, создание и удаление bucket, политику и ACL bucket, публичный ACL объекта), временный чужой bucket (403 на всё), аноним изнутри сервера (403); анонимные запросы с хоста (`127.0.0.1:S3_OUT_PORT`) и из сети стенда (одноразовый контейнер образа S3), порты контейнера S3: слушающие сокеты из `netstat -tuln` в контейнере — вне loopback ровно API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты (`nc -z`); затем `s3-bootstrap cleanup` и `weed shell` — проверочных объектов и bucket не осталось. Таблица «где → проверка → ожидаемо → получено» без секретов, код 1 при расхождении (печатает нарушенные). Вывод — `evidence/s3/privacy.md` |
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` | | `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает | | `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
| `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` | | `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` |
+62 -25
View File
@@ -93,6 +93,7 @@ import csv
import hashlib import hashlib
import http.client import http.client
import io import io
import ipaddress
import json import json
import os import os
import secrets import secrets
@@ -1571,23 +1572,11 @@ def cmd_auth_storage(port: int) -> int:
S3_CHECK_KEY = ".s3-check/probe" S3_CHECK_KEY = ".s3-check/probe"
# строки проверок bootstrap: «s3-bootstrap: check<TAB>имя<TAB>ожидаемо…» # строки проверок bootstrap: «s3-bootstrap: check<TAB>имя<TAB>ожидаемо…»
S3_CHECK_ROW = "s3-bootstrap: check\t" S3_CHECK_ROW = "s3-bootstrap: check\t"
# порты weed server, которые не должны быть доступны из сети стенда: # слушающие сокеты контейнера S3 (busybox netstat образа): вне loopback
# master, filer, volume (HTTP и gRPC), admin UI, Iceberg, Lance, webdav, # должны быть только API S3 и gRPC шлюза, остальные — только на loopback.
# SFTP, pprof # Список берётся с сервера, а не задаётся заранее: новый выпуск SeaweedFS
S3_CLOSED_PORTS = ( # с новым портом список не обойдёт
9333, S3_LISTEN_COMMAND = "exec netstat -tuln"
19333,
8888,
18888,
8080,
18080,
23646,
8181,
9101,
7333,
8111,
6060,
)
# анонимные запросы из сети стенда и порты контейнера S3: одноразовый # анонимные запросы из сети стенда и порты контейнера S3: одноразовый
# контейнер на образе сервера (curl и nc в нём есть). Строки — как у # контейнер на образе сервера (curl и nc в нём есть). Строки — как у
# bootstrap: имя, ожидаемо, получено # bootstrap: имя, ожидаемо, получено
@@ -1608,11 +1597,40 @@ for p in $S3_PORT $S3_GRPC_PORT; do
done done
for p in $S3_CLOSED; do for p in $S3_CLOSED; do
if nc -z -w 2 "$S3_HOST" "$p"; then got=open; else got=closed; fi if nc -z -w 2 "$S3_HOST" "$p"; then got=open; else got=closed; fi
row "port $p" closed "$got" row "port $p (loopback only)" closed "$got"
done done
""" """
def s3_listening() -> tuple[list[str], list[int]]:
"""Слушающие сокеты контейнера `s3`: вне loopback (TCP — номер порта,
UDP — `udp/<порт>`) и TCP-порты только на loopback."""
outside_tcp: set[int] = set()
outside_udp: set[int] = set()
loopback_tcp: set[int] = set()
netstat = compose("exec", "-T", "s3", "sh", "-c", S3_LISTEN_COMMAND)
for line in netstat.splitlines():
parts = line.split()
if len(parts) < 4 or not parts[0].startswith(("tcp", "udp")):
continue
host, port = parts[3].rsplit(":", 1)
try:
on_loopback = ipaddress.ip_address(host).is_loopback
except ValueError:
on_loopback = False
tcp = parts[0].startswith("tcp")
if on_loopback:
if tcp:
loopback_tcp.add(int(port))
elif tcp:
outside_tcp.add(int(port))
else:
outside_udp.add(int(port))
outside = [str(p) for p in sorted(outside_tcp)]
outside += [f"udp/{p}" for p in sorted(outside_udp)]
return outside, sorted(loopback_tcp - outside_tcp)
def s3_stand() -> dict[str, str]: def s3_stand() -> dict[str, str]:
"""Параметры S3 стенда из `docker compose config` без секретов: """Параметры S3 стенда из `docker compose config` без секретов:
проект, образ, адрес и порт в сети, порт на хосте, bucket.""" проект, образ, адрес и порт в сети, порт на хосте, bucket."""
@@ -1691,8 +1709,10 @@ def cmd_s3_check() -> int:
проверяет свои права, чужой bucket (временный) и административные проверяет свои права, чужой bucket (временный) и административные
запросы; аноним изнутри сервера. запросы; аноним изнутри сервера.
2. Анонимные запросы к объекту с хоста (`127.0.0.1:S3_OUT_PORT`) и из 2. Анонимные запросы к объекту с хоста (`127.0.0.1:S3_OUT_PORT`) и из
сети стенда (одноразовый контейнер того же образа), порты сети стенда (одноразовый контейнер того же образа). Порты:
контейнера S3 из сети. слушающие сокеты контейнера S3 (`netstat`) — вне loopback ровно
API S3 и gRPC шлюза, а остальные слушающие порты из сети закрыты
(`nc -z`).
3. Bootstrap в режиме `cleanup`: объект и временные bucket-ы удалены, 3. Bootstrap в режиме `cleanup`: объект и временные bucket-ы удалены,
остатков нет (`weed shell` в контейнере `s3`). остатков нет (`weed shell` в контейнере `s3`).
@@ -1746,6 +1766,18 @@ def cmd_s3_check() -> int:
rows.append( rows.append(
("host", name, "403", anonymous_code(url, method, data)), ("host", name, "403", anonymous_code(url, method, data)),
) )
# вне loopback — ровно API S3 и gRPC шлюза; остальные слушающие
# порты сервера из сети стенда закрыты (nc -z ниже)
outside, loopback_only = s3_listening()
grpc_port = int(stand["port"]) + 10000
rows.append(
(
"server",
"listening outside loopback",
f"{stand['port']} {grpc_port}",
" ".join(outside) or "-",
),
)
network = subprocess.run( network = subprocess.run(
[ [
"docker", "docker",
@@ -1758,13 +1790,13 @@ def cmd_s3_check() -> int:
"-e", "-e",
f"S3_PORT={stand['port']}", f"S3_PORT={stand['port']}",
"-e", "-e",
f"S3_GRPC_PORT={int(stand['port']) + 10000}", f"S3_GRPC_PORT={grpc_port}",
"-e", "-e",
f"S3_BUCKET={stand['bucket']}", f"S3_BUCKET={stand['bucket']}",
"-e", "-e",
f"S3_KEY={S3_CHECK_KEY}", f"S3_KEY={S3_CHECK_KEY}",
"-e", "-e",
"S3_CLOSED=" + " ".join(str(p) for p in S3_CLOSED_PORTS), "S3_CLOSED=" + " ".join(str(p) for p in loopback_only),
"--entrypoint", "--entrypoint",
"sh", "sh",
stand["image"], stand["image"],
@@ -1804,19 +1836,24 @@ def cmd_s3_check() -> int:
rows.append(("server", "probe objects left", "0", str(left_objects))) rows.append(("server", "probe objects left", "0", str(left_objects)))
width = max(len(name) for _, name, _, _ in rows) width = max(len(name) for _, name, _, _ in rows)
e_width = max(len("expected"), *(len(e) for _, _, e, _ in rows))
g_width = max(len("got"), *(len(g) for _, _, _, g in rows))
print( print(
f"S3 {stand['host']}:{stand['port']} (host 127.0.0.1:" f"S3 {stand['host']}:{stand['port']} (host 127.0.0.1:"
f"{stand['out_port']}), bucket {stand['bucket']}, image " f"{stand['out_port']}), bucket {stand['bucket']}, image "
f"{stand['image'].split('@')[0]}", f"{stand['image'].split('@')[0]}",
) )
print(f"{'where':<8} {'check':<{width}} expected got verdict") print(
f"{'where':<8} {'check':<{width}} {'expected':<{e_width}} "
f"{'got':<{g_width}} verdict",
)
failed = 0 failed = 0
for where, name, expected, got in rows: for where, name, expected, got in rows:
ok = expected == got ok = expected == got
failed += not ok failed += not ok
print( print(
f"{where:<8} {name:<{width}} {expected:<8} {got:<6} " f"{where:<8} {name:<{width}} {expected:<{e_width}} "
f"{'ok' if ok else 'FAIL'}", f"{got:<{g_width}} {'ok' if ok else 'FAIL'}",
) )
for problem in problems: for problem in problems:
print(f"FAIL: {problem}") print(f"FAIL: {problem}")
+1 -1
View File
@@ -368,7 +368,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
test_rubric.py, test_race.py # обязательные сценарии и гонки уровня 4 test_rubric.py, test_race.py # обязательные сценарии и гонки уровня 4
test_<capability>.py # сценарии основных спеков, маркер @pytest.mark.spec test_<capability>.py # сценарии основных спеков, маркер @pytest.mark.spec
test_failures.py # проверки отказов (маркер fault): только make failure_checks test_failures.py # проверки отказов (маркер fault): только make failure_checks
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, префикс только из проверенного имени) (stdlib) run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap), два API, pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), уборка (stdlib) run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap), два API, pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), уборка (stdlib)
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib) fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster) failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
+17
View File
@@ -542,6 +542,23 @@ design) и «Вопросы» (ждут ответа; ответ дописыв
17. **`rollout_from c50b721` — дефект переноса** (`KNOWN_ISSUES.md`): 17. **`rollout_from c50b721` — дефект переноса** (`KNOWN_ISSUES.md`):
профиль `rollout` проверен с `--from 5d5d8f9`. профиль `rollout` проверен с `--from 5d5d8f9`.
Приняты 2026-10-20 в правках по `/opsx:verify` (tasks.md, группа 7),
подробности — design change `s3-storage`, «Уточнения apply», п. 8–13.
18. **Healthcheck S3 ждёт регистрации тома** (`/dir/status`, непустой
`DataNodes`): первая запись после рестарта — 10–40 мс вместо до
4,8 с при сроке 5 с. Та же проба — в `fault_hook.py`.
19. **`tmpfs: [/tmp, /data]` у `s3-bootstrap`**: без анонимного volume на
каждый контейнер.
20. **Клиент S3**: удалённый bucket и отказ в доступе — 503 с `error`
(«bucket is missing», «denied access»), а не «объекта нет» и не
«rejected credentials»; `delete` глушит только отсутствующий ключ.
Ограничение: HEAD без тела, удалённый bucket у `head` — `None`.
21. **`make test_isolated` проверяет уборку префикса** (`fs.ls` после
`fs.rm`): код 0 `weed shell` успеха не значит.
22. **`make s3_check` берёт порты из `netstat` контейнера S3**, а не из
фиксированного списка; проверка готовности без S3 — и для `pause`.
#### Вопросы #### Вопросы
1. Как в apply добавить строки S3 в рабочий `.env`? Агент `.env` не 1. Как в apply добавить строки S3 в рабочий `.env`? Агент `.env` не
+2 -2
View File
@@ -80,8 +80,8 @@ design change `s3-storage`. Три места, где SeaweedFS по умолч
| миграции | `migrate` | образ API | код выхода 0 (`service_completed_successfully`) | — | сеть | пароль PostgreSQL | | миграции | `migrate` | образ API | код выхода 0 (`service_completed_successfully`) | — | сеть | пароль PostgreSQL |
| postgres | `postgres` | `postgres:18.6-trixie@sha256:5a5a84b1…9722` | `pg_isready -h 127.0.0.1` | `postgres_data` | `127.0.0.1:5433` → `5432` | `POSTGRES_PASSWORD` | | postgres | `postgres` | `postgres:18.6-trixie@sha256:5a5a84b1…9722` | `pg_isready -h 127.0.0.1` | `postgres_data` | `127.0.0.1:5433` → `5432` | `POSTGRES_PASSWORD` |
| кэш (необязательная роль) | `valkey` | `valkey/valkey:9.1.2-trixie@sha256:418652cf…9dfd` | `valkey-cli ping` с паролем | — (persistence выключен) | `127.0.0.1:6380` → `6379` | `VALKEY_PASSWORD` | | кэш (необязательная роль) | `valkey` | `valkey/valkey:9.1.2-trixie@sha256:418652cf…9dfd` | `valkey-cli ping` с паролем | — (persistence выключен) | `127.0.0.1:6380` → `6379` | `VALKEY_PASSWORD` |
| s3 | `s3` | `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d` | `wget`: `/cluster/healthz` master, `/healthz` filer и шлюза (loopback) | `s3_data:/data` | `127.0.0.1:8334` → `8333` (только API S3); в сети — `8333` и gRPC шлюза `18333`, служебные порты на loopback | административная пара (`AWS_*` из `S3_ROOT_*`) и ключ подписи (`WEED_JWT_FILER_SIGNING_KEY` из `S3_JWT_SIGNING_KEY`) — окружением | | s3 | `s3` | `chrislusf/seaweedfs:4.48@sha256:4e61d15f…7872d` | `wget`: `/cluster/healthz` master, том зарегистрирован (`DataNodes` в `/dir/status`), `/healthz` filer и шлюза (loopback) | `s3_data:/data` | `127.0.0.1:8334` → `8333` (только API S3); в сети — `8333` и gRPC шлюза `18333`, служебные порты на loopback | административная пара (`AWS_*` из `S3_ROOT_*`) и ключ подписи (`WEED_JWT_FILER_SIGNING_KEY` из `S3_JWT_SIGNING_KEY`) — окружением |
| bootstrap S3 | `s3-bootstrap` | тот же образ S3 | код выхода 0; реплики ждут `service_completed_successfully` | — (`/tmp` — tmpfs) | `network_mode: service:s3`, портов нет | ключ подписи и ключи API — окружением; в `weed shell` через stdin, в `curl` файлом на tmpfs | | bootstrap S3 | `s3-bootstrap` | тот же образ S3 | код выхода 0; реплики ждут `service_completed_successfully` | — (`/tmp` и `/data` — tmpfs) | `network_mode: service:s3`, портов нет | ключ подписи и ключи API — окружением; в `weed shell` через stdin, в `curl` файлом на tmpfs |
Лимиты: Лимиты:
- postgres 2 CPU / 1 ГБ, valkey 0,5 / 128 МБ, s3 1 / 512 МБ; - postgres 2 CPU / 1 ГБ, valkey 0,5 / 128 МБ, s3 1 / 512 МБ;
+11 -6
View File
@@ -193,9 +193,12 @@ services:
aliases: aliases:
- ${S3_HOST:-s3} - ${S3_HOST:-s3}
healthcheck: healthcheck:
# master выбран, filer и шлюз S3 отвечают; всё на loopback. $$ — # master выбран, том зарегистрирован у master (непустой DataNodes в
# переменная контейнера # /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""] # проверки тома healthy наступал на ~4 с раньше регистрации, и первая
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
# контейнера
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
interval: 5s interval: 5s
timeout: 3s timeout: 3s
retries: 10 retries: 10
@@ -239,9 +242,12 @@ services:
read_only: true read_only: true
bind: bind:
create_host_path: false create_host_path: false
# файл ключа для curl и политика — только в памяти # файл ключа для curl и политика — только в памяти. /data — volume
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
# оставлял бы анонимный volume
tmpfs: tmpfs:
- /tmp - /tmp
- /data
depends_on: depends_on:
s3: s3:
condition: service_healthy condition: service_healthy
@@ -293,8 +299,7 @@ services:
condition: service_healthy condition: service_healthy
migrate: migrate:
condition: service_completed_successfully condition: service_completed_successfully
# bucket и пользователь API есть до первого запроса; первую запись # bucket и пользователь API есть до первого запроса
# после старта S3 (~2,5 с) делает проверка bootstrap, а не клиент
s3-bootstrap: s3-bootstrap:
condition: service_completed_successfully condition: service_completed_successfully
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с # healthcheck — из образа; SIGKILL не раньше, чем через 10 с
+67 -10
View File
@@ -62,7 +62,7 @@ hook-ом проверяется напрямую (решение 9), без п
| `GOMEMLIMIT=400MiB` + `-s3.concurrentUploadLimitMB=64` | 20 и 40 × 10 MiB PUT и GET без ошибок, анонимная память ≤ 271 MiB; лимит загрузки ставит запросы в очередь, а не отклоняет | | `GOMEMLIMIT=400MiB` + `-s3.concurrentUploadLimitMB=64` | 20 и 40 × 10 MiB PUT и GET без ошибок, анонимная память ≤ 271 MiB; лимит загрузки ставит запросы в очередь, а не отклоняет |
| Без `GOMEMLIMIT`, только лимит загрузки | 40 × 10 MiB выдержал, анонимная память 476 MiB из 512 | | Без `GOMEMLIMIT`, только лимит загрузки | 40 × 10 MiB выдержал, анонимная память 476 MiB из 512 |
| Клиент aiobotocore 3.9.2 (botocore 1.43.106, aiohttp 3.14.5), без повторов botocore (`total_max_attempts=1`) | контрольные суммы botocore по умолчанию принимаются; первый вызов старым клиентом после рестарта S3 проходит; `pause` — вызов обрывает `asyncio.timeout` ровно в срок; `stop` — `EndpointConnectionError` за 9 мс | | Клиент aiobotocore 3.9.2 (botocore 1.43.106, aiohttp 3.14.5), без повторов botocore (`total_max_attempts=1`) | контрольные суммы botocore по умолчанию принимаются; первый вызов старым клиентом после рестарта S3 проходит; `pause` — вызов обрывает `asyncio.timeout` ровно в срок; `stop` — `EndpointConnectionError` за 9 мс |
| Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент (вероятно, том ещё регистрируется у master); следующие — 5–25 мс | | Первая запись сразу после `healthy` | в 3 прогонах из 6 ждала ~2,5 с, кем бы ни был клиент; следующие — 5–25 мс. Причина найдена в verify (уточнения apply, п. 8): `healthy` по master, filer и шлюзу наступает до регистрации тома у master (~4 с разницы), ожидание доходило до 4,8 с при сроке вызова 5 с. Healthcheck теперь ждёт и том |
| Цена клиента на хосте | импорт 80–160 мс, создание клиента 35–60 мс, +45 MiB RSS, установленные пакеты ~27 MiB | | Цена клиента на хосте | импорт 80–160 мс, создание клиента 35–60 мс, +45 MiB RSS, установленные пакеты ~27 MiB |
Без ключа подписи сервер к тому же пишет при старте ошибку «no signing Без ключа подписи сервер к тому же пишет при старте ошибку «no signing
@@ -122,10 +122,12 @@ Entrypoint образа добавляет `-dir=/data -volume.max=0
- алиас в сети `${S3_HOST}`; - алиас в сети `${S3_HOST}`;
- публикация `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`. - публикация `127.0.0.1:${S3_OUT_PORT}:${S3_PORT}`.
Healthcheck на `wget` проверяет `/cluster/healthz` master, Healthcheck на `wget` проверяет `/cluster/healthz` master, список
`/healthz` filer на loopback и `/healthz` шлюза S3 на data node в `/dir/status` master (непустой `DataNodes`), `/healthz`
`$$S3_PORT`, с `start_interval: 1s`. Процесс один, но так `healthy` filer на loopback и `/healthz` шлюза S3 на `$$S3_PORT`, с
значит «master выбран, filer и шлюз отвечают». `start_interval: 1s`. Процесс один, но так `healthy` значит «master
выбран, том зарегистрирован у master, filer и шлюз отвечают» и первая
запись не ждёт регистрации тома (уточнения apply, п. 8).
*Альтернатива:* отдельные контейнеры master, volume, filer и s3 в *Альтернатива:* отдельные контейнеры master, volume, filer и s3 в
своей сети. Отвергнута: четыре сервиса с healthcheck, лимитами и своей сети. Отвергнута: четыре сервиса с healthcheck, лимитами и
@@ -192,7 +194,9 @@ API. Отвергнута: нужен клиент IAM (ещё образ или
Сервис `s3-bootstrap`: Сервис `s3-bootstrap`:
- образ тот же, что у `s3`, `network_mode: service:s3`: master и filer - образ тот же, что у `s3`, `network_mode: service:s3`: master и filer
на `127.0.0.1` сервера доступны ему, а в сети их нет; на `127.0.0.1` сервера доступны ему, а в сети их нет;
- `user: seaweed`, `restart: "no"`, `tmpfs: /tmp`; - `user: seaweed`, `restart: "no"`, `tmpfs: [/tmp, /data]` (`/data` —
volume образа: без tmpfs каждый новый контейнер оставлял бы анонимный
volume, уточнения apply, п. 9);
- скрипт `infra/s3/bootstrap.sh` монтируется только на чтение длинной - скрипт `infra/s3/bootstrap.sh` монтируется только на чтение длинной
записью с `create_host_path: false`; записью с `create_host_path: false`;
- `depends_on: s3: service_healthy`; - `depends_on: s3: service_healthy`;
@@ -321,8 +325,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
- Срок: каждый вызов в `asyncio.timeout([s3] timeout_seconds)`. Повторов - Срок: каждый вызов в `asyncio.timeout([s3] timeout_seconds)`. Повторов
нет. Рестарт S3 повтора не требует (Context), а таймаут, как у нет. Рестарт S3 повтора не требует (Context), а таймаут, как у
Valkey, не повторяется. Загрузку клиент контракта повторяет сам. Valkey, не повторяется. Загрузку клиент контракта повторяет сам.
Первая запись после старта S3 может ждать ~2,5 с, это меньше срока. Первая запись после старта S3 ждала регистрации тома у master до
На штатном стенде её делает проверка bootstrap до старта реплик. 4,8 с — почти весь срок; теперь `healthy` наступает после регистрации
(решение 1), и первая запись после рестарта — 10–40 мс (уточнения
apply, п. 8).
- Операции: - Операции:
- `put(key, data, content_type)`; - `put(key, data, content_type)`;
- `open(key)` — асинхронный контекст с размером, типом и чтением - `open(key)` — асинхронный контекст с размером, типом и чтением
@@ -336,8 +342,10 @@ botocore, тот же код подписи и моделей, что у AWS CLI
| Что пришло | Исключение | Журнал | | Что пришло | Исключение | Журнал |
|---|---|---| |---|---|---|
| отказ соединения, обрыв, таймаут сокета или срока, 5xx | `ObjectStorageUnavailable` (наследник `ServiceUnavailable` → 503 `unavailable` по таблице `errors.py`) | `warning` «Object storage is unavailable» с классом ошибки | | отказ соединения, обрыв, таймаут сокета или срока, 5xx | `ObjectStorageUnavailable` (наследник `ServiceUnavailable` → 503 `unavailable` по таблице `errors.py`) | `warning` «Object storage is unavailable» с классом ошибки |
| 403 `AccessDenied`, `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей | | 403 `InvalidAccessKeyId`, `SignatureDoesNotMatch` | то же исключение | `error` «Object storage rejected credentials» без ключей |
| `NoSuchKey` / 404 у `open` | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет | | 403 `AccessDenied` и 403 без тела (HEAD) | то же исключение | `error` «Object storage denied access» (уточнения apply, п. 10) |
| 404 `NoSuchBucket` | то же исключение | `error` «Object storage bucket is missing» (п. 10) |
| `NoSuchKey` / 404 без тела (HEAD) | `StoredObjectMissing`, новое в `src/core/exceptions/storage.py`; HTTP-ответ на него решает `attachments` | нет |
| прочие ошибки S3 | без перевода | 500 и traceback, это дефект | | прочие ошибки S3 | без перевода | 500 и traceback, это дефект |
- Ключ объекта строит repo в `attachments`: `f"{namespace}/{…}"`. Здесь - Ключ объекта строит repo в `attachments`: `f"{namespace}/{…}"`. Здесь
@@ -564,3 +572,52 @@ PostgreSQL change не трогает.
`KNOWN_ISSUES.md`. `make bench_rollout_quick` падает за 6 с; `KNOWN_ISSUES.md`. `make bench_rollout_quick` падает за 6 с;
самопроверка профиля — `bench/run.py --profile rollout_quick --from самопроверка профиля — `bench/run.py --profile rollout_quick --from
5d5d8f9` (код 0). 5d5d8f9` (код 0).
Правки по находкам `/opsx:verify` (2026-10-20, tasks.md, группа 7):
8. **Healthcheck ждёт регистрации тома** (W1, решение 1). `healthy` по
master, filer и шлюзу наступал через ~3 с после старта, а volume
регистрировался у master через ~7 с (опрос `/dir/status` раз в 0,5 с:
до регистрации `"DataCenters":null`, после — `"DataNodes":[{…}]`).
Первая запись ждала регистрации: до правки 2 из 8 рестартов — 4771 и
2523 мс, у verify 3 из 12 — до 4784 мс при сроке 5 с. Проверка
`wget -q -O - …/dir/status | grep -qF '"DataNodes":[{'` в healthcheck
и пробе `fault_hook.py`. После правки: 12 рестартов и 6 `kill` — первая
запись 10–40 мс. Свежий volume (tmpfs) тоже проходит: data node
регистрируется и без томов, bootstrap создаёт bucket.
9. **`tmpfs: [/tmp, /data]` у `s3-bootstrap`** (W2, решение 4). Образ
объявляет `VOLUME /data`, и каждый новый контейнер bootstrap создавал
анонимный volume. Пересоздание контейнера compose переносит прежний
анонимный volume на новый — на рабочем стенде он отвязан `docker
compose up -d --no-deps --renew-anon-volumes s3-bootstrap` и остался
висячим (удалять volumes агенту нельзя).
10. **Ошибки bucket и доступа** (S1, решение 7). `NoSuchBucket` —
`ObjectStorageUnavailable` и `error` «Object storage bucket is
missing»; `AccessDenied` и 403 без тела — `ObjectStorageUnavailable` и
`error` «Object storage denied access»; «rejected credentials» — только
`InvalidAccessKeyId` и `SignatureDoesNotMatch`. Любой 404 больше не
значит «объекта нет»: только `NoSuchKey` и 404 без тела у HEAD.
`delete` глушит только `StoredObjectMissing`. Проверено на временном
стенде с удалённым bucket: PUT SeaweedFS отвечает `AccessDenied`, GET
и DELETE — `NoSuchBucket`, HEAD — 404 без тела, как у отсутствующего
ключа. Поэтому `head` удалённого bucket по-прежнему `None`, а неверный
секрет у HEAD — «denied access» (403 без кода): ограничение HEAD, не
клиента.
11. **Уборка префикса проверяется** (S2, решение 9). `weed shell` выходит
с кодом 0 и при ошибке (`rm: <путь>: LookupEntry1: … connection
refused`). `remove_objects` разбирает строки `rm:` (кроме «no entry is
found» — префикса нет) и проверяет пустой `fs.ls` префикса; иначе
`RuntimeError`: в начале прогона — код 1 до тестов, в уборке —
«cleanup failed», код 1.
12. **Готовность при замороженном S3** (S3). `test_readiness_without_
object_storage` параметризован `stop` и `pause`; сценарий `health`
«Хранилище объектов недоступно» называет оба (основной спек и
дельта).
13. **Порты S3 — со слушающих сокетов** (S4, решение 8). `driver.py
s3-check` берёт `netstat -tuln` контейнера `s3`: вне loopback (не
`127.0.0.0/8` и не `::1`) должно быть ровно `S3_PORT` и `S3_PORT` +
10000, а остальные слушающие TCP-порты из сети закрыты (`nc -z`).
Фиксированный список `S3_CLOSED_PORTS` убран: новый порт нового
выпуска SeaweedFS он бы пропустил. Отрицательная проверка — временный
стенд с `-ip.bind=0.0.0.0`: код 1, лишние 8080, 8888, 9333, 18080,
18888, 19333.
@@ -39,6 +39,7 @@
#### Scenario: Хранилище объектов недоступно #### Scenario: Хранилище объектов недоступно
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен - **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
PostgreSQL доступен
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее - **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
секунды: проверка к S3 не обращается секунды: проверка к S3 не обращается
@@ -18,7 +18,9 @@ S3-хранилище байтов стенда с лабы 4. Здесь опи
S3-совместимый сервер. Его образ SHALL быть закреплён тегом с версией и S3-совместимый сервер. Его образ SHALL быть закреплён тегом с версией и
digest индекса. Данные сервера SHALL digest индекса. Данные сервера SHALL
храниться в именованном volume. Сервису SHALL быть заданы: храниться в именованном volume. Сервису SHALL быть заданы:
- healthcheck, который проверяет готовность обслуживать запросы S3; - healthcheck, который проверяет готовность обслуживать запросы S3, в
том числе запись объекта: `healthy` MUST NOT наступать раньше, чем
хранилище томов готово принять запись;
- лимиты CPU и памяти; - лимиты CPU и памяти;
- перезапуск после сбоя; - перезапуск после сбоя;
- срок остановки, за который сервер завершается сам, без принудительного - срок остановки, за который сервер завершается сам, без принудительного
@@ -34,6 +36,13 @@ digest индекса. Данные сервера SHALL
- **THEN** контейнер S3 в состоянии `healthy`, его образ указан тегом с - **THEN** контейнер S3 в состоянии `healthy`, его образ указан тегом с
версией и digest, а данные лежат в именованном volume проекта версией и digest, а данные лежат в именованном volume проекта
#### Scenario: Первая запись после healthy
- **WHEN** контейнер S3 перезапущен с сохранённым volume и стал
`healthy`, и сразу после этого ключом API записывается объект
- **THEN** первая запись проходит заметно быстрее срока вызова клиента
(`[s3] timeout_seconds`), а не ждёт регистрации хранилища томов
#### Scenario: Остановка сервера #### Scenario: Остановка сервера
- **WHEN** выполняется `docker compose stop s3` - **WHEN** выполняется `docker compose stop s3`
@@ -273,10 +282,12 @@ SHALL сохраняться и после принудительного зав
формате контракта, SHALL заканчиваться вызов, если S3: формате контракта, SHALL заканчиваться вызов, если S3:
- недоступен; - недоступен;
- не ответил за срок; - не ответил за срок;
- отклонил учётные данные. - отклонил учётные данные;
- отказал ключу API в доступе или не нашёл bucket.
Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL
отличаться от недоступности. После возврата S3 вызовы SHALL проходить отличаться от недоступности: отсутствующий bucket MUST NOT выдаваться за
отсутствующий объект у записи, чтения и удаления. После возврата S3 вызовы SHALL проходить
без перезапуска приложения. Соединения с S3 SHALL открываться при без перезапуска приложения. Соединения с S3 SHALL открываться при
первом вызове, а при остановке сервиса клиент SHALL закрываться. первом вызове, а при остановке сервиса клиент SHALL закрываться.
@@ -307,6 +318,13 @@ SHALL сохраняться и после принудительного зав
- **WHEN** приложение читает ключ, которого в bucket нет - **WHEN** приложение читает ключ, которого в bucket нет
- **THEN** клиент сообщает, что объекта нет, а не недоступность S3 - **THEN** клиент сообщает, что объекта нет, а не недоступность S3
#### Scenario: Bucket нет
- **WHEN** bucket приложения удалён мимо bootstrap, и приложение
записывает, читает или удаляет объект
- **THEN** каждый вызов завершается ошибкой недоступности, а не
сообщением «объекта нет», и в журнале есть запись уровня `error`
#### Scenario: Учётные данные отклонены #### Scenario: Учётные данные отклонены
- **WHEN** секрет API у приложения не совпадает с секретом на сервере - **WHEN** секрет API у приложения не совпадает с секретом на сервере
+88
View File
@@ -251,3 +251,91 @@
- [x] 6.3 `make lint`, `make check`, `openspec validate s3-storage - [x] 6.3 `make lint`, `make check`, `openspec validate s3-storage
--strict`, `graphify update .`; показать изменения и после --strict`, `graphify update .`; показать изменения и после
подтверждения закоммитить evidence и отчёт. подтверждения закоммитить evidence и отчёт.
## 7. Замечания проверки
Находки `/opsx:verify` (2026-10-20), все решено исправить. Решения —
design, «Уточнения apply», п. 8–13. Временный стенд проверок — проект
compose `mtusi-lab4-s3fresh` с S3 на tmpfs (новых volumes не создаёт),
`down` без `-v` после проверки.
- [x] 7.1 W1. S3 `healthy`, только когда master видит data node:
healthcheck `s3` в `docker-compose.yml` и `PROBES["s3"]` в
`student-tests/fault_hook.py` добавляют проверку `/dir/status` master
(непустой список `DataNodes`); сценарий «Первая запись после
healthy» в требовании «S3-хранилище в стенде» дельты `object-storage`;
числа в design (Context, решения 1 и 7), комментарий у `api`
в compose, `docker.md`, `student-tests.md`. Проверка:
- формат `/dir/status` сверен на стенде: сразу после старта
`DataNodes` нет, после регистрации тома — есть;
- `first_write.py` (scratchpad, срок вызова 30 с): до правки и после
— 12 рестартов `s3` с ожиданием `healthy`, первая запись после
правки быстрее 1 с во всех;
- `make failure_checks FAULT_ARGS='-k object_storage'` — проба hook
после `unpause` проходит.
- [x] 7.2 W2. `tmpfs: [/tmp, /data]` у `s3-bootstrap`: volume образа
`/data` больше не создаётся анонимным volume. В override стенда
отказов и `bench/` сервиса нет — они наследуют. Проверка:
- `docker inspect` контейнера `s3-bootstrap` — у `/data` тип `tmpfs`,
volume нет;
- число volumes (`docker volume ls -q | wc -l`) после `docker compose
up -d s3 s3-bootstrap` и `docker compose run --rm s3-bootstrap`
не растёт.
- [x] 7.3 S1. Клиент различает отсутствующий ключ и отсутствующий
bucket (`src/infra/s3/client.py`): `NoSuchBucket` —
`ObjectStorageUnavailable` и `error` «Object storage bucket is
missing»; `AccessDenied` и 403 без тела (HEAD) —
`ObjectStorageUnavailable` и `error` «Object storage denied access»
(не «rejected credentials»); `delete` глушит только отсутствующий
ключ. Сценарий «Bucket нет» в требовании «Клиент хранилища в
приложении» дельты `object-storage`; таблица ошибок design (решение
7), `infra.md`, `logging.md`. Проверка — разовый скрипт против
временного стенда:
- до правки: удалённый bucket — `open` и `delete` бросают
`StoredObjectMissing`, `put` пишет «rejected credentials»
(`AccessDenied`);
- после правки: удалённый bucket — `put`, `head`, `open`, `delete` —
`ObjectStorageUnavailable` и запись `error` о bucket; отсутствующий
ключ — `head` `None`, `open` `StoredObjectMissing`, `delete` без
ошибки; чужой bucket без прав — `ObjectStorageUnavailable` и
«denied access» у всех четырёх, `head` — не 500; неверный секрет —
«rejected credentials».
- [x] 7.4 S2. `run_isolated.py` после `fs.rm -r` проверяет `fs.ls`
префикса: остались записи или вывод `weed shell` с ошибкой — уборка
неуспешна, код 1, команда называет префикс. Проверка:
- разовым скриптом записать `test_<db>/probe`: проверка остатков до
удаления сообщает об остатке, после `remove_objects` — нет;
- `weed shell` с ошибкой при коде 0 (временный стенд) — `remove_objects`
бросает;
- `make test_isolated` — уборка префикса в выводе, без
«cleanup failed».
- [x] 7.5 S3. `test_readiness_without_object_storage` — для `stop` и
`pause` (параметр): готовность и `live` 200 быстрее секунды. Проверка:
`make failure_checks FAULT_ARGS='-k object_storage'` — 2 прошли; полный
`make failure_checks` — красное только по списку в шапке.
- [x] 7.6 S4. `make s3_check` берёт слушающие сокеты контейнера `s3`
(`netstat -tln` в контейнере) вместо списка `S3_CLOSED_PORTS`:
слушающие не на loopback — ровно {`S3_PORT`, `S3_PORT` + 10000},
остальные слушающие порты из сети стенда закрыты (`nc -z`). Проверка:
- на стенде — код 0, в таблице список слушающих портов;
- отрицательная: временный стенд с `-ip.bind=0.0.0.0` у `s3` —
код 1, названы лишние порты.
- [x] 7.7 `make lint`, `make check`, `openspec validate s3-storage
--strict`, `make s3_check`, `make failure_checks`, `make
test_isolated` (красное — по списку в шапке); стенд `mtusi-lab4`
работает. Затем показать изменения, предложить сообщение коммита и
остановиться: evidence снимается с закоммиченного кода.
- [ ] 7.8 Evidence с закоммиченного кода группы 7, без секретов, с
датой, commit и стендом:
- `evidence/s3/restart.md` — первая запись после рестарта и `kill`
(`first_write.py`);
- `evidence/s3/client.md` — удалённый bucket, отказ в доступе,
отсутствующий ключ (`s1_check.py` на временном стенде);
- `evidence/s3/privacy.md` — `make s3_check` со слушающими портами и
отрицательная проверка;
- `evidence/tests/` — `make failure_checks` (оба варианта новой
проверки) и строки уборки `make test_isolated`;
- строки `REPORT.md`, которые ссылаются на эти файлы.
Проверка: `grep` по значениям секретов из `.env` в `evidence/` пуст;
`make lint`, `make check`, `openspec validate s3-storage --strict`.
+2 -1
View File
@@ -56,7 +56,8 @@ MUST NOT зависеть от состояния хранилища.
#### Scenario: Хранилище объектов недоступно #### Scenario: Хранилище объектов недоступно
- **WHEN** сервер S3 остановлен, а PostgreSQL доступен - **WHEN** сервер S3 остановлен или заморожен (`docker pause`), а
PostgreSQL доступен
- **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее - **THEN** `GET /health/ready` и `GET /health/live` отвечают 200 быстрее
секунды: проверка к S3 не обращается секунды: проверка к S3 не обращается
+35 -6
View File
@@ -6,12 +6,17 @@ Design change `s3-storage`, решения 6–7. Каждый вызов огр
Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки
переводятся в доменные исключения: переводятся в доменные исключения:
- отказ соединения, обрыв, таймаут, 5xx и отказ в учётных данных — - отказ соединения, обрыв, таймаут, 5xx, отказ в учётных данных или в
`ObjectStorageUnavailable` (503 `unavailable`); доступе и отсутствующий bucket — `ObjectStorageUnavailable` (503
`unavailable`);
- отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` — - отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` —
не ошибка); не ошибка);
- прочие ошибки S3 не переводятся: 500, это дефект. - прочие ошибки S3 не переводятся: 500, это дефект.
Удалённый bucket у HEAD не отличить от отсутствующего ключа: у ответа нет
тела, и SeaweedFS отвечает одинаковым 404. `head` тогда отдаёт `None`, а
`put`, `open` и `delete` — `ObjectStorageUnavailable`.
В журнал — адрес, bucket, ключ объекта, размер, длительность и класс В журнал — адрес, bucket, ключ объекта, размер, длительность и класс
ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore, ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore,
aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG
@@ -44,8 +49,14 @@ logger: AbstractLogger = get_logger().bind(module="object_storage")
# коды отказа в учётных данных: секрет или ключ API не совпали с сервером # коды отказа в учётных данных: секрет или ключ API не совпали с сервером
CREDENTIAL_ERROR_CODES = frozenset( CREDENTIAL_ERROR_CODES = frozenset(
{"AccessDenied", "InvalidAccessKeyId", "SignatureDoesNotMatch"}, {"InvalidAccessKeyId", "SignatureDoesNotMatch"},
) )
# отказ в доступе: у ключа нет прав на bucket или его уже нет (PUT в
# удалённый bucket SeaweedFS отклоняет так же); у HEAD тела нет, только
# статус
ACCESS_DENIED_ERROR_CODES = frozenset({"AccessDenied", "403", "Forbidden"})
# bucket нет: это не «объекта нет», а сломанный стенд
MISSING_BUCKET_ERROR_CODES = frozenset({"NoSuchBucket"})
# отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус # отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус
MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"}) MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"})
# недоступность: отказ соединения и его таймаут (ConnectionError botocore: # недоступность: отказ соединения и его таймаут (ConnectionError botocore:
@@ -204,8 +215,12 @@ class ObjectStorage:
body.close() body.close()
async def delete(self, key: str) -> None: async def delete(self, key: str) -> None:
"""Удалить объект; отсутствие объекта — не ошибка.""" """Удалить объект; отсутствие объекта — не ошибка, отсутствие
await self._call("delete_object", key) bucket — `ObjectStorageUnavailable`."""
try:
await self._call("delete_object", key)
except StoredObjectMissing:
return
async def _get_client(self) -> Any: async def _get_client(self) -> Any:
if self._client is not None: if self._client is not None:
@@ -326,7 +341,14 @@ class ObjectStorage:
"HTTPStatusCode", "HTTPStatusCode",
0, 0,
) )
if code in MISSING_ERROR_CODES or status == 404: if code in MISSING_BUCKET_ERROR_CODES:
logger.error(
"Object storage bucket is missing",
error_code=code,
**fields,
)
return ObjectStorageUnavailable()
if code in MISSING_ERROR_CODES:
return StoredObjectMissing() return StoredObjectMissing()
if code in CREDENTIAL_ERROR_CODES: if code in CREDENTIAL_ERROR_CODES:
logger.error( logger.error(
@@ -335,6 +357,13 @@ class ObjectStorage:
**fields, **fields,
) )
return ObjectStorageUnavailable() return ObjectStorageUnavailable()
if code in ACCESS_DENIED_ERROR_CODES or status == 403:
logger.error(
"Object storage denied access",
error_code=code,
**fields,
)
return ObjectStorageUnavailable()
if status >= 500: if status >= 500:
logger.warning( logger.warning(
"Object storage is unavailable", "Object storage is unavailable",
+4 -1
View File
@@ -59,8 +59,11 @@ PROBES = {
"postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" ' "postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" '
'-d "$POSTGRES_DB"', '-d "$POSTGRES_DB"',
"valkey": 'test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG', "valkey": 'test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG',
# master выбран, filer и шлюз S3 отвечают — как healthcheck сервиса s3 # master выбран, том зарегистрирован у master, filer и шлюз S3
# отвечают — как healthcheck сервиса s3
"s3": "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && " "s3": "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && "
"wget -q -O - http://127.0.0.1:9333/dir/status | "
"grep -qF '\"DataNodes\":[{' && "
"wget -q -O /dev/null http://127.0.0.1:8888/healthz && " "wget -q -O /dev/null http://127.0.0.1:8888/healthz && "
'wget -q -O /dev/null "http://127.0.0.1:$S3_PORT/healthz"', 'wget -q -O /dev/null "http://127.0.0.1:$S3_PORT/healthz"',
} }
+37 -9
View File
@@ -41,6 +41,9 @@ TEST_DB_NAME_RE = re.compile(r"^test_[a-z0-9_]+$")
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py # как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$") BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
DEFAULT_BUCKET = "messenger" DEFAULT_BUCKET = "messenger"
# fs.rm отсутствующего пути: «rm: <путь>: filer: no entry is found in filer
# store» — не ошибка уборки
WEED_NO_ENTRY = "no entry is found"
READY_TIMEOUT_S = 60 READY_TIMEOUT_S = 60
LOG_TAIL_LINES = 50 LOG_TAIL_LINES = 50
@@ -119,11 +122,11 @@ def object_prefix(bucket: str, test_db: str) -> str:
return f"/buckets/{bucket}/{test_db}" return f"/buckets/{bucket}/{test_db}"
def remove_objects(prefix: str) -> None: def weed_shell(command: str) -> str:
"""Удалить объекты под префиксом временной базы; его отсутствие — не """Одна команда `weed shell` в контейнере `s3`: ключ подписи — в его
ошибка. `weed shell` в контейнере `s3`: ключ подписи — в его окружении, master и filer — на его loopback. Вывод — stdout и stderr
окружении, master и filer — на его loopback.""" вместе."""
run( result = run(
"docker", "docker",
"compose", "compose",
"exec", "exec",
@@ -131,10 +134,31 @@ def remove_objects(prefix: str) -> None:
"s3", "s3",
"sh", "sh",
"-c", "-c",
"exec weed shell -master=127.0.0.1:9333", "exec weed shell -master=127.0.0.1:9333 2>&1",
stdin=f"fs.rm -r {prefix}\n", stdin=f"{command}\n",
quiet=True, quiet=True,
) )
return result.stdout
def remove_objects(prefix: str) -> None:
"""Удалить объекты под префиксом временной базы; его отсутствие — не
ошибка. `weed shell` выходит с кодом 0 и при ошибке команды, поэтому
успех проверяется отдельно: строк `rm:` с ошибкой нет, и `fs.ls`
префикса пуст. Иначе — `RuntimeError` с первой строкой ошибки."""
removed = weed_shell(f"fs.rm -r {prefix}")
# отсутствие префикса fs.rm печатает так же строкой rm: — это не ошибка
errors = [
line
for line in removed.splitlines()
if line.startswith("rm:") and WEED_NO_ENTRY not in line
]
left = [
line for line in weed_shell(f"fs.ls {prefix}").splitlines() if line
]
if errors or left:
detail = errors[0] if errors else f"{len(left)} entries left"
raise RuntimeError(f"objects {prefix}/ not removed: {detail}")
def remove_container(name: str) -> None: def remove_container(name: str) -> None:
@@ -196,7 +220,11 @@ def main() -> int:
remove_container(container) remove_container(container)
drop_database(test_db) drop_database(test_db)
say(f"remove objects {prefix}/") say(f"remove objects {prefix}/")
remove_objects(prefix) try:
remove_objects(prefix)
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"setup failed: {e}")
return 1
results: dict[str, int] = {} results: dict[str, int] = {}
failed = True failed = True
@@ -275,7 +303,7 @@ def main() -> int:
drop_database(test_db) drop_database(test_db)
say(f"remove objects {prefix}/") say(f"remove objects {prefix}/")
remove_objects(prefix) remove_objects(prefix)
except subprocess.CalledProcessError as e: except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"cleanup failed: {e}") say(f"cleanup failed: {e}")
results["cleanup"] = 1 results["cleanup"] = 1
+9 -2
View File
@@ -353,8 +353,15 @@ def test_readiness_without_cache(api: Api, stand: Stand) -> None:
@pytest.mark.spec("health", "Хранилище объектов недоступно") @pytest.mark.spec("health", "Хранилище объектов недоступно")
def test_readiness_without_object_storage(api: Api, stand: Stand) -> None: @pytest.mark.parametrize("action", ["stop", "pause"])
with outage(stand, "stop", "s3"): def test_readiness_without_object_storage(
api: Api,
stand: Stand,
action: str,
) -> None:
# pause: соединение с S3 есть, ответа нет — проверка, которая всё же
# ходила бы в S3, ждала бы срока вызова (5 с), а не отказа соединения
with outage(stand, action, "s3"):
for path in ("/health/ready", "/health/live"): for path in ("/health/ready", "/health/live"):
resp, took = timed(lambda path=path: api.request("GET", path)) resp, took = timed(lambda path=path: api.request("GET", path))
assert assert_ok(resp, 200, "Health") == {"status": "ok"} assert assert_ok(resp, 200, "Health") == {"status": "ok"}