18 KiB
Отчёт — лабораторная работа № 4
S3-хранилище и вложения
1. Общая информация
- Автор: Морозов Александр Александрович
- Группа: БВТ2304
- Дисциплина: Высоконагруженные приложения
- Целевая оценка: уровень 4
- Выбранный трек уровня 5: не заявляется
2. Цель работы
Цель работы — реализовать хранение вложений в S3-совместимом объектном хранилище с отделением бинарного содержимого от метаданных, обеспечить авторизованный доступ к файлам, сохранение доступности вложений при переключении API-реплик и устойчивость к отказам отдельных компонентов.
Дополнительно требовалось проверить ограничения на загружаемые изображения, работу с ошибочными запросами, очистку объектов после неудачных операций, потребление памяти при конкурентных загрузках и работу инфраструктуры при перезапуске.
3. Архитектура и принятые решения
Приложение построено по следующей схеме:
Client
|
v
Load Balancer
/ \
v v
API-1 API-2
\ /
\ /
+----+-----+----+
| |
v v
PostgreSQL S3-compatible
(metadata) object storage
Основные компоненты:
- API — обработка HTTP-запросов, авторизация пользователей, проверка прав доступа и работа с вложениями.
- Load Balancer — распределение запросов между API-репликами.
- PostgreSQL — хранение метаданных вложений и связанных с ними данных приложения.
- S3-совместимое хранилище — хранение бинарного содержимого файлов.
Метаданные и бинарное содержимое разделены. В PostgreSQL не сохраняются сами файлы: база данных хранит информацию, необходимую для идентификации и получения объекта из S3.
API-реплики используют общее объектное хранилище. Поэтому загрузка файла через одну реплику не привязывает его к локальной файловой системе этой реплики. Другая реплика может получить тот же объект из общего хранилища.
4. Загрузка и получение вложений
При загрузке изображения приложение выполняет следующие действия:
- Принимает файл от клиента.
- Проверяет допустимость запроса и ограничения на размер.
- Определяет тип содержимого по фактическим данным файла, а не только по имени или переданному Content-Type.
- Проверяет допустимость изображения.
- Сохраняет бинарное содержимое в S3-совместимое хранилище.
- Сохраняет метаданные вложения в PostgreSQL.
- Возвращает клиенту результат успешной загрузки.
Успешная загрузка подтверждается только после сохранения объекта и необходимых метаданных.
Получение вложения выполняется через API. Приложение проверяет доступ пользователя к чату, которому принадлежит вложение. Пользователь, не имеющий доступа к соответствующему чату, не должен получать содержимое файла.
5. Обработка ошибок и восстановление
В работе предусмотрены проверки некорректных запросов и сценарии отказов.
Проверяются, в частности:
- некорректные параметры запросов;
- некорректные идентификаторы;
- ошибки доступа к вложениям;
- недопустимые изображения;
- проблемы при взаимодействии с объектным хранилищем;
- ситуации, когда объектное хранилище и база данных не завершили операцию согласованно.
Для обработки объектов, которые могли сохраниться в S3 без соответствующей записи метаданных, предусмотрен механизм reconciliation/очистки orphan-объектов. Проверка выполнялась отдельными сценариями из scripts/ и зафиксирована в evidence/steps/09-orphans.log.
Очистка должна учитывать временной интервал между загрузкой объекта и фиксацией метаданных, чтобы не удалить объект, операция сохранения которого ещё выполняется.
6. Проверки и результаты
Для проверки использовались Go-тесты, проверки контракта API, интеграционные сценарии и автоматизированный скрипт scripts/verify_level4.sh.
Проверки выполнялись несколько раз. В ходе тестирования были устранены обнаруженные проблемы, после чего получены успешные результаты по всем проверкам функциональности приложения. Последний прогон завершился с ошибкой на этапе rolling update по причине недоступности Docker Hub.
6.1. Итоговая таблица проверок
| Проверка | Последний результат | Примечание |
|---|---|---|
| 00-up — запуск инфраструктуры | PASS | Инфраструктура запущена |
| 01-go-tests — Go-тесты | PASS | Тесты Go пройдены |
| 02-make-check — структурная проверка | PASS | Проверка структуры проекта пройдена |
| 03-make-test — тесты API | PASS | Тесты API пройдены |
| 04-lb — балансировка | PASS | Проверена работа балансировщика |
| 05-edge — граничные случаи API | PASS | Проверки входных данных и временной устойчивости авторизации пройдены |
| 06-attachments — работа с вложениями | PASS | Проверены операции с вложениями |
| 07-s3-rights — права доступа к S3 | PASS | Проверены права API на объектное хранилище |
| 08-s3-init-twice — повторная инициализация S3 | PASS | Повторная инициализация выполнена успешно |
| 09-orphans — обработка orphan-объектов | PASS | Проверена очистка осиротевших объектов |
| 10-memory-1mb — эксперимент с файлами около 1 MiB | PASS | Проверка завершилась успешно |
| 11-memory-9mb — эксперимент с файлами около 9 MiB | PASS | Проверка завершилась успешно |
| 12-att-failover-1 — отказ API-реплики при работе с вложениями | PASS | Вложение доступно через другую реплику |
| 13-att-failover-2 — повторная проверка failover вложений | PASS | Повторная проверка пройдена |
| 14-persistence — сохранение данных после перезапуска | PASS | Данные сохранились |
| 15-failover-1 — проверка отказоустойчивости | PASS | Проверка пройдена |
| 16-failover-2 — повторная проверка отказоустойчивости | PASS | Проверка пройдена |
| 17-infra — проверка инфраструктуры | PASS | Инфраструктурные проверки пройдены |
| 18-rolling — rolling update | FAIL* | Последний запуск прерван при получении базовых Docker-образов из Docker Hub |
* Проверка 18-rolling ранее завершилась успешно. В последнем запуске сборка остановилась до выполнения сценария обновления: Docker не смог получить OAuth-токен от Docker Hub из-за сетевой ошибки при подключении к auth.docker.io. Поэтому последний FAIL не является результатом обнаруженной ошибки в реализации rolling update.
Таким образом, все 18 остальных проверок последнего полного прогона завершились успешно. Для 18-rolling имеется отдельный ранее зафиксированный успешный результат, а последний запуск не позволил повторно подтвердить его из-за внешней сетевой проблемы.
6.2. Граничные случаи API
Проверки входных данных выявили корректную обработку следующих случаев:
- поле
Textвместоtext; - текст, состоящий из NBSP и U+3000;
- текст с нулевым байтом;
- пустые параметры
limitиcursor; - некорректный UUID чата;
- некорректный UUID участника;
- название чата из пробелов;
- название чата длиной 101 символ.
Все перечисленные запросы завершились ответом HTTP 400.
Дополнительно проверялась временная устойчивость авторизации: сравнивалось время ответа при попытке входа с неизвестным именем пользователя и при вводе неверного пароля существующего пользователя. В последнем успешном прогоне проверка завершилась PASS.
6.3. Проверка отказоустойчивости вложений
Выполнена проверка загрузки вложения через одну API-реплику с последующей остановкой этой реплики.
После остановки исходной реплики вложение успешно получалось через другую API-реплику. Дополнительно сравнивался SHA-256 полученного содержимого с исходным файлом.
Результат подтверждает, что бинарные данные хранятся в общем объектном хранилище и не зависят от локального диска конкретной API-реплики.
6.4. Проверка S3
Проверены:
- доступ API к объектному хранилищу с использованием отдельных учётных данных;
- ограничения доступа к S3;
- повторная инициализация хранилища;
- обработка orphan-объектов;
- сохранение доступности данных при перезапуске компонентов.
Все соответствующие проверки завершились PASS.
6.5. Проверка rolling update
В одном из полных прогонов сценарий rolling update завершился успешно.
При повторном запуске проверка не смогла перейти к сборке приложения: Docker BuildKit завершился ошибкой получения OAuth-токена от Docker Hub при загрузке метаданных базовых образов golang:1.27-alpine и alpine:3.20.
Ошибка возникла на сетевом этапе до выполнения сценария обновления API-реплики. Поэтому данный запуск не подтверждает наличие дефекта rolling update, но и не является повторным успешным подтверждением его работы.
Логи обоих запусков сохранены в каталоге evidence/.
7. Эксперимент с потреблением памяти
Для оценки поведения приложения при конкурентных загрузках использовался скрипт scripts/memory_experiment.py.
Проведены два эксперимента:
- загрузка файлов размером около 1 MiB;
- загрузка файлов размером около 9 MiB.
В обоих сценариях использовалась конкурентная нагрузка с 12 workers и продолжительностью 20 секунд.
Результаты и исходные измерения сохранены в:
evidence/memory-1mb.json;evidence/memory-9mb.json.
Оба сценария завершились PASS по критериям проверочного скрипта.
Эти эксперименты позволяют проверить поведение приложения при конкурентных загрузках, однако их результаты не следует трактовать как универсальную оценку производительности: они зависят от конфигурации Docker, доступной памяти, числа API-реплик и параметров окружения.
8. Запуск проекта
Для запуска необходимы Docker и Docker Compose.
Перед запуском необходимо подготовить локальный .env и необходимые файлы секретов. Секреты и реальные учётные данные не должны публиковаться в репозитории.
Основная команда запуска:
./scripts/bootstrap.sh # создаёт .env (из .env.example) и каталог secrets/ с ключами и паролями
docker compose --env-file .env up -d --build
python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
Проверка состояния контейнеров:
docker compose ps
Проверка Go-тестов:
go test ./...
Проверка структуры проекта:
make check
Проверка OpenAPI-контракта:
make validate PYTHON=.venv/bin/python
Полный набор проверок уровня 4:
ROLLING=1 ./scripts/verify_level4.sh
Остановка окружения без удаления данных:
docker compose down
9. Вывод
В ходе лабораторной работы реализовано хранение бинарных вложений в S3-совместимом объектном хранилище с отделением метаданных от содержимого файлов.
Проверены авторизация и доступ к вложениям, работа нескольких API-реплик, сохранение данных после перезапуска, отказоустойчивость, повторная инициализация S3 и обработка orphan-объектов.
Последний полный запуск: 18 PASS из 19. Шаг 18-rolling не выполнился из-за сетевой ошибки Docker Hub при получении токена для базовых образов, до выполнения самого сценария обновления.
Таким образом, основные сценарии хранения вложений, работы S3 и отказоустойчивости подтверждены проверками.