15 KiB
Лабораторная 4. Вложения в S3 и сверка хранилищ
Ремез Олег Романович · БПИ2304 · цель «5» · трек 2, согласованность S3 и PostgreSQL
Мессенджер принимает PNG и JPEG, связывает оригиналы с сообщениями и отдаёт их участникам чата через любую из двух API-реплик. Приватный RustFS хранит байты, PostgreSQL — метаданные и связи, Redis — сессии. Команда attachment-cleanup обнаруживает расхождения в обе стороны. Старые объекты без строки удаляются после сверки, а пропавший оригинал восстанавливается из копии с сохранением ID и связей.
Запуск
Требуются Docker с Compose и OpenSSL. Скрипт подготовки создаёт локальные .env и secrets/ при их отсутствии.
sh scripts/init-local.sh
docker compose --env-file .env up -d --build --wait
make check
make test BASE_URL=http://127.0.0.1:8081
API доступен через HAProxy на 127.0.0.1:8081. Перезапуск стенда с сохранением volumes выполняется через sh scripts/restart.sh. Остановка выполняется через docker compose --env-file .env down. Для экспериментов используйте отдельный Compose-проект с собственными портами и синтетическими данными.
Как работает загрузка и периодическая уборка
Обработчик принимает один PNG/JPEG до 10 МиБ и 40 млн пикселей. Тело копируется частями во временный файл на tmpfs с лимитом 32 МиБ на контейнер. Код закрывает дескриптор при завершении запроса, SHA-256 вычисляется по оригиналу, а S3 получает файл потоком. Каждая API-реплика обрабатывает одну загрузку одновременно. Запрос, который ждёт слот дольше секунды, получает 429 с Retry-After: 1. Проверка изображения декодирует его пиксели, поэтому ограничение по пикселям и слоту существенно для памяти.
API возвращает 201 ready после записи оригинала в S3 и COMMIT в PostgreSQL. При обрыве между ними объект может остаться без метаданных. Уборка просматривает attachments/ каждые 5 минут, проверяет только объекты старше 10 минут по S3 LastModified и удаляет их после успешного подтверждения отсутствия строки. Загрузка, уборка и восстановление используют одну транзакционную блокировку PostgreSQL по ключу. Занятый ключ переносится на следующий проход. Строка в attachments защищает оригинал с момента загрузки, в том числе до его привязки к сообщению. Ошибка хранилища прерывает проход.
Трек 2. Сверка в обе стороны
Гипотеза. По старым ключам можно находить два вида расхождений без загрузки байтов при обходе. Удаление неподтверждённого объекта и восстановление проверенного оригинала должны сохранять исправные вложения. Повторная сверка после исправления должна показать ноль расхождений. При росте числа исправных пар растут число проверок и время обхода.
| Направление | Проверка | Действие |
|---|---|---|
| S3 → PostgreSQL | Постраничный LIST, фильтр по возрасту, EXISTS под блокировкой | В dry-run только посчитать кандидата. В apply удалить старый объект при успешном EXISTS, вернувшем false |
| PostgreSQL → S3 | Страницы по уникальному object_key, HEAD для подходящих по возрасту строк |
Показать число пропаж и до 32 ID. Для выбранного ID принять копию, проверить размер и SHA-256, перечитать метаданные под блокировкой и выполнить условный PUT |
Для автоматической уборки раз в 5 минут используется направление S3 → PostgreSQL. Полный двусторонний проход запускается явно и печатает JSON со счётчиками, длительностью и признаком завершения. Dry-run включён по умолчанию у разовой команды. Скан пропаж различает 404 от HEAD и сбой доступа. При сетевой ошибке или 403 проход завершается с ошибкой. Проверка существования бакета выполняется до HEAD объектов. S3 HeadObject
# Двусторонний dry-run
docker compose --env-file .env run --rm --no-deps -T attachment-cleanup \
/app/attachment-cleanup -reconcile
# Двусторонняя сверка с удалением старых объектов без строки
docker compose --env-file .env run --rm --no-deps -T attachment-cleanup \
/app/attachment-cleanup -reconcile -dry-run=false
# Dry-run восстановления одного пропавшего оригинала из проверяемой копии
docker compose --env-file .env run --rm --no-deps -T \
-v "$PWD/original.png:/backup:ro" attachment-cleanup \
/app/attachment-cleanup -restore-id UUID -backup-file /backup
Для восстановления добавьте -dry-run=false к последней команде. Запись отправляется с If-None-Match: *: если ключ уже существует, приложение его сохраняет, а S3 отклоняет конфликтующую запись, появившуюся после HEAD. При повторе с тем же оригиналом команда возвращает already_present. Источник резервных копий выбирает оператор. Условная запись S3
Эксперимент и результаты
На отдельном стенде через API загружены четыре PNG. Затем у одного файла удалена строка PostgreSQL, у другого — объект S3. Пропавший оригинал был привязан к сообщению. После истечения тестового grace в 4 секунды dry-run нашёл по одному расхождению и оставил оба состояния без изменений. Копия с неверным SHA-256 отклонена. Верная копия успешно восстановлена, повтор вернул already_present. Прямой условный PUT по уже занятому ключу получил 412. Проход apply удалил только старый объект без строки. Свежий объект и оба исправных файла, со связью и без неё, сохранились.
После исправлений повторная сверка нашла ноль расхождений. У восстановленного файла совпали ID, метаданные, SHA-256 и ссылка в истории сообщений. Посторонний получил 404. При имитации отказа S3 проход завершился с ошибкой, счётчик пропавших объектов остался нулевым.
Затем добавлялись синтетические пары ключ/строка с однобайтовыми объектами. Для каждой выборки выполнены три dry-run без сторонней пользовательской нагрузки. В таблице указана длительность внутри процесса, отдельно от старта контейнера. Число HEAD и число проверок EXISTS в каждом проходе равны числу пар.
| Пар | Страниц S3 / БД | Три прохода, мс | Медиана, мс |
|---|---|---|---|
| 33 | 1 / 1 | 82, 100, 32 | 82 |
| 233 | 1 / 2 | 227, 132, 147 | 147 |
| 1053 | 2 / 6 | 629, 587, 3070 | 629 |
Объём запросов растёт вместе с числом ключей. Наибольший профиль пересёк границу страницы в обоих хранилищах. Разброс 587–3070 мс показывает, что три прогона на одном Docker-хосте дают ориентир, а предельную производительность надо измерять отдельно. Исходные измерения · Сценарий · Методика запуска
Проверки уровня 4
| Проверка | Наблюдение |
|---|---|
| Сборка, миграции и совместимость API | Чистый Compose запускает миграции 1–6, RustFS и обе API. Повторная генерация sqlc совпала с кодом в ветке. Публичный smoke и 54 группы Go-тестов прошли на выделенном PostgreSQL и Redis без пропусков, включая штатные перезапуски. Запуск и результаты |
| Отказ API и перезапуск | Другая реплика отдала оригинал с тем же SHA-256. Перезапуск сохранил данные и сессию. Мигратор и bootstrap при штатном перезапуске не запустились повторно. Переключение файла · До · После |
| Ошибки и приватность | Размер и число пикселей сверх лимита — 413, повреждённое изображение и подмена MIME — 415, чужой файл и привязка из другого чата — 404. Анонимные GET/LIST S3 — 403, ключ API ограничен бакетом, консоль закрыта. После повторного bootstrap объект сохранился. HTTP · Пиксели · Политика |
| Отказ S3 и обрыв загрузки | У API live=200, ready=503, загрузка — 503, новые метаданные не появились. После восстановления файл совпал по SHA-256. При обрыве HTTP, SIGKILL после PUT и ошибке INSERT после PUT уборка прошла; подтверждённая строка после потери ответа сохранилась. Отказ S3 · Сценарии уборки |
В двух прогонах по 12 одновременно запущенных загрузок лимит RAM составлял 512 МиБ на API. Обычный PNG 320 × 200 дал 12 ответов 201 с пиками 78,44 и 76,95 МиБ. При PNG/JPEG 6000 × 6000 четыре запроса получили 201, восемь — 429. Пики 280,59 и 410,29 МиБ включают процесс и tmpfs. OOM и перезапусков в обоих прогонах не было. Обычный профиль · Тяжёлый профиль · Методика
Границы и источники
Восстановление требует оригинальных байтов из резервной копии. HEAD подтверждает наличие объекта на момент запроса. Проверка целостности всех существующих объектов, восстановление потерянной строки БД и резервное копирование выходят за рамки трека. При ошибке или превышении двухминутного лимита проход завершится как неполный; уже выполненные удаления сохраняются. Сверка работает по текущим страницам, поэтому новые данные могут попасть в следующий проход. Стенд проверен на одном Docker-хосте, PostgreSQL, Redis и RustFS представлены по одному экземпляру.
Gitea Actions для форка и базового репозитория отключены. Проверки выполнены локально. Публичные контракты и тесты преподавателя сохранены. Использован ИИ для проектирования, реализации части Go и Compose, тестовой оснастки и оформления отчёта. Блокировки PostgreSQL · RustFS credentials