9.8 KiB
MODIFIED Requirements
Requirement: Ограниченные учётные данные уборщика
У уборщика (capability storage-consistency) SHALL быть свои учётные
данные S3, отдельные от учётных данных API и административных.
Пользователю уборщика SHALL быть разрешены только:
- чтение и удаление объектов своего bucket;
- список объектов своего bucket с префиксом вложений своей базы,
<имя базы>/attachments/, — для сверки bucket и БД.
Префикс задаёт bootstrap по имени базы стенда.
Пользователю уборщика MUST NOT быть разрешены:
- запись объектов;
- список объектов без этого префикса или с другим префиксом, в том числе с префиксом другой базы;
- операции с bucket: создание, удаление, политика, ACL;
- публичный ACL объекта;
- управление учётными записями;
- любой доступ к другим bucket.
Ключи уборщика MUST NOT передаваться репликам API. Уборщик MUST NOT получать ключи API, административные ключи S3 и ключ подписи.
Scenario: Работа уборщика с объектами
- WHEN ключом API записан объект, а ключом уборщика он прочитан, удалён и удалён ещё раз, и запрошен список объектов с префиксом вложений базы
- THEN чтение отдаёт те же байты, оба удаления успешны, объекта после них нет, а список отвечает 200
Scenario: Запрещённые операции уборщика
- WHEN ключом уборщика запрашиваются:
- запись объекта;
- список объектов всего bucket и с префиксом, не принадлежащим вложениям его базы;
- создание и удаление bucket, политика и ACL bucket;
- публичный ACL объекта;
- объект другого bucket и его список
- THEN каждый запрос получает 403, а bucket и его доступ не меняются
Requirement: Проверка приватности вне API
Приватность bucket и права ключей API и уборщика SHALL проверяться без участия приложения двумя способами.
-
Каждый запуск bootstrap:
- ключ API записывает и читает проверочный объект и получает отказ на список и на создание bucket;
- ключ уборщика читает и удаляет этот объект. Он получает отказ на запись и на список всего bucket, а список с префиксом вложений своей базы у него проходит;
- аноним получает отказ на чтение существующего объекта и на список.
При нарушении bootstrap завершается с ненулевым кодом, и реплики API не стартуют.
-
Отдельная команда
make s3_checkна запущенном стенде. Она повторяет проверки bootstrap и добавляет:- анонимные запросы с хоста и из сети стенда;
- запросы ключей API и уборщика к чужому bucket;
- административные запросы ключей API и уборщика;
- запись ключом уборщика;
- его список всего bucket и с чужим префиксом — отказ, с префиксом вложений своей базы — 200.
Команда SHALL печатать по каждой проверке ожидаемый и полученный код ответа без секретов. При любом нарушении код выхода SHALL быть ненулевым. Свои проверочные объекты и bucket команда SHALL удалять.
Scenario: Проверка командой
- WHEN на запущенном стенде выполняется
make s3_check - THEN каждая проверка напечатана с полученным кодом ответа, в том числе проверки списка ключом уборщика по своему и чужому префиксу, код выхода 0, а проверочных объектов и bucket после команды нет
Scenario: Bucket стал публичным
- WHEN на bucket открыт анонимный доступ на чтение, например административной командой мимо bootstrap
- THEN
make s3_checkзавершается с ненулевым кодом и называет нарушенную проверку, а следующий запуск bootstrap снова закрывает доступ
Requirement: Клиент хранилища в приложении
Процессы приложения SHALL обращаться к S3 с учётными данными своей роли
из секции [s3]: реплики API — ключами пользователя API, уборщик —
ключами пользователя уборщика. Клиент SHALL уметь:
- записать объект;
- прочитать его потоком;
- получить метаданные;
- удалить объект;
- перечислить объекты с заданным префиксом страницами, с размером и временем изменения каждого объекта.
Удаление отсутствующего объекта — не ошибка. Каждый вызов, в том числе каждая страница списка, SHALL быть ограничен сроком из настроек. После отказа или истечения срока вызов MUST NOT повторяться автоматически.
Ошибкой недоступности, которую API отдаёт как 503 unavailable в
формате контракта, SHALL заканчиваться вызов, если S3:
- недоступен;
- не ответил за срок;
- отклонил учётные данные;
- отказал ключу в доступе или не нашёл bucket.
Такой вызов MUST NOT давать 500 или зависать. Отсутствующий объект SHALL отличаться от недоступности. Отсутствующий bucket MUST NOT выдаваться за отсутствующий объект у записи, чтения, удаления и списка: список без bucket — ошибка, а не пустая страница. После возврата S3 вызовы SHALL проходить без перезапуска приложения. Соединения с S3 SHALL открываться при первом вызове, а при остановке сервиса клиент SHALL закрываться.
Ключ объекта SHALL начинаться с имени базы PostgreSQL процесса и /.
Так объекты прогона на временной базе (make test_isolated) отделены
от объектов рабочей базы.
Scenario: S3 остановлен
- WHEN S3 остановлен, и приложение записывает объект
- THEN вызов за доли секунды завершается ошибкой недоступности, без повторов
Scenario: S3 завис
- WHEN контейнер S3 заморожен (
docker pause), и приложение записывает объект - THEN вызов завершается ошибкой недоступности не позже срока вызова
Scenario: S3 вернулся
- WHEN S3 снова доступен, а приложение не перезапускалось
- THEN следующий вызов проходит
Scenario: Объекта нет
- WHEN приложение читает ключ, которого в bucket нет
- THEN клиент сообщает, что объекта нет, а не недоступность S3
Scenario: Bucket нет
- WHEN bucket приложения удалён мимо bootstrap, и приложение записывает, читает или удаляет объект либо запрашивает список объектов
- THEN каждый вызов завершается ошибкой недоступности, а не
сообщением «объекта нет» и не пустым списком, и в журнале есть запись
уровня
error
Scenario: Учётные данные отклонены
- WHEN секрет API у приложения не совпадает с секретом на сервере S3
- THEN вызов завершается ошибкой недоступности, а в журнале есть
запись уровня
errorбез секрета