9.4 KiB
Proposal
Why
Лаба 4 требует S3-совместимое хранилище в общем стенде: закреплённая
версия, persistent volume, приватный bucket с описанным созданием
(рубрика «3»). Рубрика «4» добавляет идемпотентный bootstrap, отдельные
ограниченные учётные данные API, консоль не в общей сети и проверку
приватности bucket вне API (README.md). Вложения (change
attachments) строятся поверх этого: сначала хранилище, клиент и
стенды, потом домен.
Сервер выбран заранее — SeaweedFS (PLAN.md, решение 1). Проба
закреплённой версии показала три места, где он по умолчанию не
приватен. Без учётных записей S3 открыт анониму целиком. Служебные
серверы (master, filer, volume) слушают все интерфейсы. gRPC-порт S3
без ключа подписи принимает от любого контейнера сети учётную запись
администратора. Change закрывает все три, а не только создаёт bucket.
What Changes
- В стенде появляется S3: сервис
s3на SeaweedFS 4.48 с тегом и digest индекса, именованным volume, healthcheck, лимитами CPU и памяти и плавной остановкой.- Служебные серверы слушают только loopback контейнера, наружу и в сеть compose выходит один порт S3.
- Порт S3 публикуется только на
127.0.0.1хоста для запуска в консоли. Консоль и UI не публикуются и в сети недоступны. - Учётная запись администратора задана с первого старта: анонимного окна нет.
- Административные RPC закрыты ключом подписи, телеметрия и необязательные эндпоинты выключены.
- Одноразовый сервис
s3-bootstrapна том же образе создаёт приватный bucket, запрещает анонимный доступ и заводит пользователя API с политикой «только объекты своего bucket: чтение, запись, удаление».- Реплики API ждут его успешного завершения, как миграций.
- Повторный запуск ничего не ломает и сводит состояние к
.env. - В конце каждого запуска bootstrap проверяет права и приватность вне API и завершается ошибкой, если bucket не приватен.
make s3_check— та же проверка приватности вне API отдельной командой, для защиты и evidence. Она добавляет проверки с хоста и из сети стенда, против чужого bucket и административных операций.- Учётные данные разделены по ролям. Административная пара ключей S3
есть только у сервера
s3, ключ подписи — уs3иs3-bootstrap, ключи API — уs3-bootstrapи реплик API. LB, миграции, PostgreSQL и Valkey секретов S3 не получают. Значения лежат в.env,make env_setupгенерирует их для нового.env, в приложение они приходят мостамиS3__*. - Секция
[s3]настроек: адрес, порт, bucket, ключи API, регион, сроки и пул. Значения изconfig.toml— вconfig_example.toml. - Клиент хранилища в
src/infra/s3/на aiobotocore для следующих changes. Операции — запись, чтение потоком, метаданные, удаление; у каждого вызова свой срок, повторов нет. Отказ, таймаут и отказ в учётных данных — 503unavailable. Ключи объектов начинаются с имени базы, как ключи кэша. Клиент создаётся при старте и закрывается при остановке. /health/readyот S3 не зависит (PLAN.md, решение 3): S3 не нужен обязательному синхронному пути.- Все стенды знают о S3:
scripts/restart.shперезапускает и S3;make run_devподнимает S3 и bootstrap;make test_isolatedработает с S3 рабочего стенда, его объекты лежат под префиксом временной базы и удаляются при уборке;- у
make failure_checksсвой S3 и новая проверка «S3 недоступен — готовность 200»; bench/получает секреты S3 на прогон, а профили лаб 2–3 S3 не запускают, и их методика не меняется;make wipe_dataудаляет и volume S3.
- BREAKING (для оператора): в существующий
.envнужно перенести строки S3 из.env.example, без них compose не стартует.make env_setupсуществующий.envне меняет. Для нового.envсекреты генерируются сами.
Не входит: таблица и ручки вложений, домен attachment,
attachment_ids — это change attachments. Намерение pending,
компенсация и уборщик с его S3-пользователем — upload-consistency.
Лимиты памяти и сроки загрузки — upload-memory. Reconciler — трек 2.
Capabilities
New Capabilities
object-storage: S3-хранилище стенда — сервер и его закрепление, служебные интерфейсы вне сети, идемпотентный bootstrap приватного bucket, запрет анонимного доступа, ограниченные права API, проверка приватности вне API, сохранность при рестарте и клиент приложения (сроки, ошибки, ключи по имени базы).
Modified Capabilities
container-run: S3 и bootstrap в стенде compose, порты S3 из.env, публикация только порта S3 на127.0.0.1, рестарт hook-ом, лимиты и секреты по сервисам, запуск в консоли с S3, удаление данных вместе с volume S3.service-configuration: подключение к S3 (секция[s3], секреты из.env, генерация вmake env_setup), консоль и docker без правки файлов.health: готовность не зависит от S3.service-logging: учётные данные S3 и подписи запросов к нему в журнал не попадают.student-tests: прогон на временной базе с префиксом объектов и его уборкой; стенд отказов со своим S3 и проверкой готовности без него.
Impact
- Код:
src/infra/s3/(клиент, глобал),src/config/settings.py([s3]),src/main.py(старт, закрытие, запись о старте),src/infra/logger.py(журналы botocore —WARNING), доменное исключение отсутствующего объекта. - Зависимости:
aiobotocore(тянетbotocoreиaiohttp),uv.lock. - Инфраструктура:
docker-compose.yml— сервисыs3,s3-bootstrap, якорьx-s3-envи volume;infra/s3/bootstrap.sh;.env.exampleиconfig_example.toml;Makefile—env_setup,start_s3,stop_s3,s3_check,run_dev,test_isolated,wipe_data;scripts/restart.sh.
- Стенды:
student-tests/run_isolated.py,run_failures.py,failures.compose.yml,fault_hook.py,test_failures.py;bench/run.py— секреты, фильтр секретов в паспорте;bench/bench.compose.yml,bench/bench.env.
- Документы:
- правила
infra.md,docker.md,settings.md,run-modes.md,logging.md,student-tests.md,bench.md,balancer.md; AGENTS.md, скиллrun-mtusi-messenger;REPORT.md— роль S3, таблица роль → сервис → версия → healthcheck → volume → порт → credentials, bootstrap и его повтор, критичные зависимости, соответствие имён skeletonS3_*;evidence/s3/.
- правила