4.5 KiB
Эксплуатационное расширение: сверка S3 и PostgreSQL
Обязательный HTTP API не изменён. Команда python -m src.reconcile работает внутри контейнера API с его ограниченными S3 credentials. По умолчанию выполняется dry-run; --apply разрешает изменения, --grace-seconds задаёт возраст кандидата. Значение по умолчанию 3600 секунд, минимально допустимое — 60.
Команда получает эксклюзивную транзакционную advisory lock 202604. Загрузчик получает shared lock с тем же номером перед S3 PUT и держит её до COMMIT. Загрузка тела и проверка изображения проходят до блокировки. Это исключает удаление объекта между PUT и фиксацией его метаданных. Другой reconciler сериализуется той же блокировкой.
Постраничный ListObjectsV2 просматривает только серверный prefix originals/. Объекты с метаданными сохраняются независимо от возраста и использования в сообщениях. Объекты без метаданных моложе grace сохраняются. Для старого orphan дополнительно проверяется HEAD непосредственно перед DELETE. Серверные ключи уникальны и не переиспользуются. Внешние записи с административными credentials находятся за пределами этого протокола.
Ready-метаданные старше grace проверяются HEAD. Только достоверный 404 переводит внутреннее состояние в missing с original_missing. БД и ссылки сообщений сохраняются. Сетевая ошибка, 403 или 5xx не считаются отсутствием объекта. Изменения метаданных транзакционны; повторный проход не обрабатывает уже отмеченный missing.
Внутренний missing не возвращается как Attachment, поскольку обязательный контракт lab4 допускает только ready. Авторизованные GET метаданных и содержимого возвращают 503; POST нового сообщения с таким ID возвращает 409. Посторонний всегда получает 404. Восстановление оригинала из резервной копии и возврат ready выполняются оператором после проверки размера и SHA-256. Reconciler не восстанавливает потерянные байты и не объявляет их восстановленными.
Сверка не удаляет метаданные и не удаляет объекты, для которых есть строка attachments. DELETE идемпотентен; сбой после DELETE до COMMIT безопасен: следующий проход больше не увидит orphan. При недоступности БД сверка не начинает S3 DELETE, при недоступности S3 завершается с ошибкой. Полной атомарности между S3 и БД нет.
Стоимость: ceil(N/1000) LIST, N индексных SQL lookup, до A HEAD для старых ready-строк плюс HEAD старых orphan и DELETE каждого исправленного orphan. Память ограничена одной страницей S3 и 100 строками SQL cursor. Эксклюзивная блокировка временно задерживает публикацию вложений; запускать вручную в окно обслуживания. Для большого хранилища необходимы секционирование и ограничение времени прохода. В учебном стенде безопасный отказ загрузки при ожидании блокировки предпочтительнее неограниченного ожидания.