# Отчёт — лабораторная работа № 4 ## S3-хранилище и вложения ### 1. Общая информация - Автор: Морозов Александр Александрович - Группа: БВТ2304 - Дисциплина: Высоконагруженные приложения - Целевая оценка: уровень 4 - Выбранный трек уровня 5: не заявляется ### 2. Цель работы Цель работы — реализовать хранение вложений в S3-совместимом объектном хранилище с отделением бинарного содержимого от метаданных, обеспечить авторизованный доступ к файлам, сохранение доступности вложений при переключении API-реплик и устойчивость к отказам отдельных компонентов. Дополнительно требовалось проверить ограничения на загружаемые изображения, работу с ошибочными запросами, очистку объектов после неудачных операций, потребление памяти при конкурентных загрузках и работу инфраструктуры при перезапуске. ### 3. Архитектура и принятые решения Приложение построено по следующей схеме: ```text Client | v Load Balancer / \ v v API-1 API-2 \ / \ / +----+-----+----+ | | v v PostgreSQL S3-compatible (metadata) object storage ``` Основные компоненты: - **API** — обработка HTTP-запросов, авторизация пользователей, проверка прав доступа и работа с вложениями. - **Load Balancer** — распределение запросов между API-репликами. - **PostgreSQL** — хранение метаданных вложений и связанных с ними данных приложения. - **S3-совместимое хранилище** — хранение бинарного содержимого файлов. Метаданные и бинарное содержимое разделены. В PostgreSQL не сохраняются сами файлы: база данных хранит информацию, необходимую для идентификации и получения объекта из S3. API-реплики используют общее объектное хранилище. Поэтому загрузка файла через одну реплику не привязывает его к локальной файловой системе этой реплики. Другая реплика может получить тот же объект из общего хранилища. ### 4. Загрузка и получение вложений При загрузке изображения приложение выполняет следующие действия: 1. Принимает файл от клиента. 2. Проверяет допустимость запроса и ограничения на размер. 3. Определяет тип содержимого по фактическим данным файла, а не только по имени или переданному Content-Type. 4. Проверяет допустимость изображения. 5. Сохраняет бинарное содержимое в S3-совместимое хранилище. 6. Сохраняет метаданные вложения в PostgreSQL. 7. Возвращает клиенту результат успешной загрузки. Успешная загрузка подтверждается только после сохранения объекта и необходимых метаданных. Получение вложения выполняется через API. Приложение проверяет доступ пользователя к чату, которому принадлежит вложение. Пользователь, не имеющий доступа к соответствующему чату, не должен получать содержимое файла. ### 5. Обработка ошибок и восстановление В работе предусмотрены проверки некорректных запросов и сценарии отказов. Проверяются, в частности: - некорректные параметры запросов; - некорректные идентификаторы; - ошибки доступа к вложениям; - недопустимые изображения; - проблемы при взаимодействии с объектным хранилищем; - ситуации, когда объектное хранилище и база данных не завершили операцию согласованно. Для обработки объектов, которые могли сохраниться в S3 без соответствующей записи метаданных, предусмотрен механизм reconciliation/очистки orphan-объектов. Проверка выполнялась отдельными сценариями из `scripts/` и зафиксирована в `evidence/steps/09-orphans.log`. Очистка должна учитывать временной интервал между загрузкой объекта и фиксацией метаданных, чтобы не удалить объект, операция сохранения которого ещё выполняется. ### 6. Проверки и результаты Для проверки использовались Go-тесты, проверки контракта API, интеграционные сценарии и автоматизированный скрипт `scripts/verify_level4.sh`. Проверки выполнялись несколько раз. В ходе тестирования были устранены обнаруженные проблемы, после чего получены успешные результаты по всем проверкам функциональности приложения. Последний прогон завершился с ошибкой на этапе rolling update по причине недоступности Docker Hub. #### 6.1. Итоговая таблица проверок | Проверка | Последний результат | Примечание | |---|---|---| | 00-up — запуск инфраструктуры | PASS | Инфраструктура запущена | | 01-go-tests — Go-тесты | PASS | Тесты Go пройдены | | 02-make-check — структурная проверка | PASS | Проверка структуры проекта пройдена | | 03-make-test — тесты API | PASS | Тесты API пройдены | | 04-lb — балансировка | PASS | Проверена работа балансировщика | | 05-edge — граничные случаи API | PASS | Проверки входных данных и временной устойчивости авторизации пройдены | | 06-attachments — работа с вложениями | PASS | Проверены операции с вложениями | | 07-s3-rights — права доступа к S3 | PASS | Проверены права API на объектное хранилище | | 08-s3-init-twice — повторная инициализация S3 | PASS | Повторная инициализация выполнена успешно | | 09-orphans — обработка orphan-объектов | PASS | Проверена очистка осиротевших объектов | | 10-memory-1mb — эксперимент с файлами около 1 MiB | PASS | Проверка завершилась успешно | | 11-memory-9mb — эксперимент с файлами около 9 MiB | PASS | Проверка завершилась успешно | | 12-att-failover-1 — отказ API-реплики при работе с вложениями | PASS | Вложение доступно через другую реплику | | 13-att-failover-2 — повторная проверка failover вложений | PASS | Повторная проверка пройдена | | 14-persistence — сохранение данных после перезапуска | PASS | Данные сохранились | | 15-failover-1 — проверка отказоустойчивости | PASS | Проверка пройдена | | 16-failover-2 — повторная проверка отказоустойчивости | PASS | Проверка пройдена | | 17-infra — проверка инфраструктуры | PASS | Инфраструктурные проверки пройдены | | 18-rolling — rolling update | FAIL* | Последний запуск прерван при получении базовых Docker-образов из Docker Hub | \* Проверка `18-rolling` ранее завершилась успешно. В последнем запуске сборка остановилась до выполнения сценария обновления: Docker не смог получить OAuth-токен от Docker Hub из-за сетевой ошибки при подключении к `auth.docker.io`. Поэтому последний FAIL не является результатом обнаруженной ошибки в реализации rolling update. Таким образом, все 18 остальных проверок последнего полного прогона завершились успешно. Для `18-rolling` имеется отдельный ранее зафиксированный успешный результат, а последний запуск не позволил повторно подтвердить его из-за внешней сетевой проблемы. #### 6.2. Граничные случаи API Проверки входных данных выявили корректную обработку следующих случаев: - поле `Text` вместо `text`; - текст, состоящий из NBSP и U+3000; - текст с нулевым байтом; - пустые параметры `limit` и `cursor`; - некорректный UUID чата; - некорректный UUID участника; - название чата из пробелов; - название чата длиной 101 символ. Все перечисленные запросы завершились ответом HTTP 400. Дополнительно проверялась временная устойчивость авторизации: сравнивалось время ответа при попытке входа с неизвестным именем пользователя и при вводе неверного пароля существующего пользователя. В последнем успешном прогоне проверка завершилась PASS. #### 6.3. Проверка отказоустойчивости вложений Выполнена проверка загрузки вложения через одну API-реплику с последующей остановкой этой реплики. После остановки исходной реплики вложение успешно получалось через другую API-реплику. Дополнительно сравнивался SHA-256 полученного содержимого с исходным файлом. Результат подтверждает, что бинарные данные хранятся в общем объектном хранилище и не зависят от локального диска конкретной API-реплики. #### 6.4. Проверка S3 Проверены: - доступ API к объектному хранилищу с использованием отдельных учётных данных; - ограничения доступа к S3; - повторная инициализация хранилища; - обработка orphan-объектов; - сохранение доступности данных при перезапуске компонентов. Все соответствующие проверки завершились PASS. #### 6.5. Проверка rolling update В одном из полных прогонов сценарий rolling update завершился успешно. При повторном запуске проверка не смогла перейти к сборке приложения: Docker BuildKit завершился ошибкой получения OAuth-токена от Docker Hub при загрузке метаданных базовых образов `golang:1.27-alpine` и `alpine:3.20`. Ошибка возникла на сетевом этапе до выполнения сценария обновления API-реплики. Поэтому данный запуск не подтверждает наличие дефекта rolling update, но и не является повторным успешным подтверждением его работы. Логи обоих запусков сохранены в каталоге `evidence/`. ### 7. Эксперимент с потреблением памяти Для оценки поведения приложения при конкурентных загрузках использовался скрипт `scripts/memory_experiment.py`. Проведены два эксперимента: - загрузка файлов размером около 1 MiB; - загрузка файлов размером около 9 MiB. В обоих сценариях использовалась конкурентная нагрузка с 12 workers и продолжительностью 20 секунд. Результаты и исходные измерения сохранены в: - `evidence/memory-1mb.json`; - `evidence/memory-9mb.json`. Оба сценария завершились PASS по критериям проверочного скрипта. Эти эксперименты позволяют проверить поведение приложения при конкурентных загрузках, однако их результаты не следует трактовать как универсальную оценку производительности: они зависят от конфигурации Docker, доступной памяти, числа API-реплик и параметров окружения. ### 8. Запуск проекта Для запуска необходимы Docker и Docker Compose. Перед запуском необходимо подготовить локальный `.env` и необходимые файлы секретов. Секреты и реальные учётные данные не должны публиковаться в репозитории. Основная команда запуска: ```bash ./scripts/bootstrap.sh # создаёт .env (из .env.example) и каталог secrets/ с ключами и паролями docker compose --env-file .env up -d --build ``` ``` bash python3 -m venv .venv .venv/bin/pip install -r requirements-dev.txt ``` Проверка состояния контейнеров: ```bash docker compose ps ``` Проверка Go-тестов: ```bash go test ./... ``` Проверка структуры проекта: ```bash make check ``` Проверка OpenAPI-контракта: ```bash make validate PYTHON=.venv/bin/python ``` Полный набор проверок уровня 4: ```bash ROLLING=1 ./scripts/verify_level4.sh ``` Остановка окружения без удаления данных: ```bash docker compose down ``` ### 9. Вывод В ходе лабораторной работы реализовано хранение бинарных вложений в S3-совместимом объектном хранилище с отделением метаданных от содержимого файлов. Проверены авторизация и доступ к вложениям, работа нескольких API-реплик, сохранение данных после перезапуска, отказоустойчивость, повторная инициализация S3 и обработка orphan-объектов. Последний полный запуск: 18 PASS из 19. Шаг 18-rolling не выполнился из-за сетевой ошибки Docker Hub при получении токена для базовых образов, до выполнения самого сценария обновления. Таким образом, основные сценарии хранения вложений, работы S3 и отказоустойчивости подтверждены проверками.