Files
mtusi2026lab4/REPORT.md
T
2026-11-05 17:27:53 +03:00

18 KiB

Отчёт — лабораторная работа № 4

S3-хранилище и вложения

1. Общая информация

  • Автор: Морозов Александр Александрович
  • Группа: БВТ2304
  • Дисциплина: Высоконагруженные приложения
  • Целевая оценка: уровень 4
  • Выбранный трек уровня 5: не заявляется

2. Цель работы

Цель работы — реализовать хранение вложений в S3-совместимом объектном хранилище с отделением бинарного содержимого от метаданных, обеспечить авторизованный доступ к файлам, сохранение доступности вложений при переключении API-реплик и устойчивость к отказам отдельных компонентов.

Дополнительно требовалось проверить ограничения на загружаемые изображения, работу с ошибочными запросами, очистку объектов после неудачных операций, потребление памяти при конкурентных загрузках и работу инфраструктуры при перезапуске.

3. Архитектура и принятые решения

Приложение построено по следующей схеме:

                    Client
                       |
                       v
                Load Balancer
                  /       \
                 v         v
              API-1       API-2
                 \         /
                  \       /
              +----+-----+----+
              |               |
              v               v
          PostgreSQL      S3-compatible
          (metadata)      object storage

Основные компоненты:

  • API — обработка HTTP-запросов, авторизация пользователей, проверка прав доступа и работа с вложениями.
  • Load Balancer — распределение запросов между API-репликами.
  • PostgreSQL — хранение метаданных вложений и связанных с ними данных приложения.
  • S3-совместимое хранилище — хранение бинарного содержимого файлов.

Метаданные и бинарное содержимое разделены. В PostgreSQL не сохраняются сами файлы: база данных хранит информацию, необходимую для идентификации и получения объекта из S3.

API-реплики используют общее объектное хранилище. Поэтому загрузка файла через одну реплику не привязывает его к локальной файловой системе этой реплики. Другая реплика может получить тот же объект из общего хранилища.

4. Загрузка и получение вложений

При загрузке изображения приложение выполняет следующие действия:

  1. Принимает файл от клиента.
  2. Проверяет допустимость запроса и ограничения на размер.
  3. Определяет тип содержимого по фактическим данным файла, а не только по имени или переданному Content-Type.
  4. Проверяет допустимость изображения.
  5. Сохраняет бинарное содержимое в S3-совместимое хранилище.
  6. Сохраняет метаданные вложения в PostgreSQL.
  7. Возвращает клиенту результат успешной загрузки.

Успешная загрузка подтверждается только после сохранения объекта и необходимых метаданных.

Получение вложения выполняется через API. Приложение проверяет доступ пользователя к чату, которому принадлежит вложение. Пользователь, не имеющий доступа к соответствующему чату, не должен получать содержимое файла.

5. Обработка ошибок и восстановление

В работе предусмотрены проверки некорректных запросов и сценарии отказов.

Проверяются, в частности:

  • некорректные параметры запросов;
  • некорректные идентификаторы;
  • ошибки доступа к вложениям;
  • недопустимые изображения;
  • проблемы при взаимодействии с объектным хранилищем;
  • ситуации, когда объектное хранилище и база данных не завершили операцию согласованно.

Для обработки объектов, которые могли сохраниться в S3 без соответствующей записи метаданных, предусмотрен механизм reconciliation/очистки orphan-объектов. Проверка выполнялась отдельными сценариями из scripts/ и зафиксирована в evidence/steps/09-orphans.log.

Очистка должна учитывать временной интервал между загрузкой объекта и фиксацией метаданных, чтобы не удалить объект, операция сохранения которого ещё выполняется.

6. Проверки и результаты

Для проверки использовались Go-тесты, проверки контракта API, интеграционные сценарии и автоматизированный скрипт scripts/verify_level4.sh.

Проверки выполнялись несколько раз. В ходе тестирования были устранены обнаруженные проблемы, после чего получены успешные результаты по всем проверкам функциональности приложения. Последний прогон завершился с ошибкой на этапе rolling update по причине недоступности Docker Hub.

6.1. Итоговая таблица проверок

Проверка Последний результат Примечание
00-up — запуск инфраструктуры PASS Инфраструктура запущена
01-go-tests — Go-тесты PASS Тесты Go пройдены
02-make-check — структурная проверка PASS Проверка структуры проекта пройдена
03-make-test — тесты API PASS Тесты API пройдены
04-lb — балансировка PASS Проверена работа балансировщика
05-edge — граничные случаи API PASS Проверки входных данных и временной устойчивости авторизации пройдены
06-attachments — работа с вложениями PASS Проверены операции с вложениями
07-s3-rights — права доступа к S3 PASS Проверены права API на объектное хранилище
08-s3-init-twice — повторная инициализация S3 PASS Повторная инициализация выполнена успешно
09-orphans — обработка orphan-объектов PASS Проверена очистка осиротевших объектов
10-memory-1mb — эксперимент с файлами около 1 MiB PASS Проверка завершилась успешно
11-memory-9mb — эксперимент с файлами около 9 MiB PASS Проверка завершилась успешно
12-att-failover-1 — отказ API-реплики при работе с вложениями PASS Вложение доступно через другую реплику
13-att-failover-2 — повторная проверка failover вложений PASS Повторная проверка пройдена
14-persistence — сохранение данных после перезапуска PASS Данные сохранились
15-failover-1 — проверка отказоустойчивости PASS Проверка пройдена
16-failover-2 — повторная проверка отказоустойчивости PASS Проверка пройдена
17-infra — проверка инфраструктуры PASS Инфраструктурные проверки пройдены
18-rolling — rolling update FAIL* Последний запуск прерван при получении базовых Docker-образов из Docker Hub

* Проверка 18-rolling ранее завершилась успешно. В последнем запуске сборка остановилась до выполнения сценария обновления: Docker не смог получить OAuth-токен от Docker Hub из-за сетевой ошибки при подключении к auth.docker.io. Поэтому последний FAIL не является результатом обнаруженной ошибки в реализации rolling update.

Таким образом, все 18 остальных проверок последнего полного прогона завершились успешно. Для 18-rolling имеется отдельный ранее зафиксированный успешный результат, а последний запуск не позволил повторно подтвердить его из-за внешней сетевой проблемы.

6.2. Граничные случаи API

Проверки входных данных выявили корректную обработку следующих случаев:

  • поле Text вместо text;
  • текст, состоящий из NBSP и U+3000;
  • текст с нулевым байтом;
  • пустые параметры limit и cursor;
  • некорректный UUID чата;
  • некорректный UUID участника;
  • название чата из пробелов;
  • название чата длиной 101 символ.

Все перечисленные запросы завершились ответом HTTP 400.

Дополнительно проверялась временная устойчивость авторизации: сравнивалось время ответа при попытке входа с неизвестным именем пользователя и при вводе неверного пароля существующего пользователя. В последнем успешном прогоне проверка завершилась PASS.

6.3. Проверка отказоустойчивости вложений

Выполнена проверка загрузки вложения через одну API-реплику с последующей остановкой этой реплики.

После остановки исходной реплики вложение успешно получалось через другую API-реплику. Дополнительно сравнивался SHA-256 полученного содержимого с исходным файлом.

Результат подтверждает, что бинарные данные хранятся в общем объектном хранилище и не зависят от локального диска конкретной API-реплики.

6.4. Проверка S3

Проверены:

  • доступ API к объектному хранилищу с использованием отдельных учётных данных;
  • ограничения доступа к S3;
  • повторная инициализация хранилища;
  • обработка orphan-объектов;
  • сохранение доступности данных при перезапуске компонентов.

Все соответствующие проверки завершились PASS.

6.5. Проверка rolling update

В одном из полных прогонов сценарий rolling update завершился успешно.

При повторном запуске проверка не смогла перейти к сборке приложения: Docker BuildKit завершился ошибкой получения OAuth-токена от Docker Hub при загрузке метаданных базовых образов golang:1.27-alpine и alpine:3.20.

Ошибка возникла на сетевом этапе до выполнения сценария обновления API-реплики. Поэтому данный запуск не подтверждает наличие дефекта rolling update, но и не является повторным успешным подтверждением его работы.

Логи обоих запусков сохранены в каталоге evidence/.

7. Эксперимент с потреблением памяти

Для оценки поведения приложения при конкурентных загрузках использовался скрипт scripts/memory_experiment.py.

Проведены два эксперимента:

  • загрузка файлов размером около 1 MiB;
  • загрузка файлов размером около 9 MiB.

В обоих сценариях использовалась конкурентная нагрузка с 12 workers и продолжительностью 20 секунд.

Результаты и исходные измерения сохранены в:

  • evidence/memory-1mb.json;
  • evidence/memory-9mb.json.

Оба сценария завершились PASS по критериям проверочного скрипта.

Эти эксперименты позволяют проверить поведение приложения при конкурентных загрузках, однако их результаты не следует трактовать как универсальную оценку производительности: они зависят от конфигурации Docker, доступной памяти, числа API-реплик и параметров окружения.

8. Запуск проекта

Для запуска необходимы Docker и Docker Compose.

Перед запуском необходимо подготовить локальный .env и необходимые файлы секретов. Секреты и реальные учётные данные не должны публиковаться в репозитории.

Основная команда запуска:

./scripts/bootstrap.sh          # создаёт .env (из .env.example) и каталог secrets/ с ключами и паролями
docker compose --env-file .env up -d --build
python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt

Проверка состояния контейнеров:

docker compose ps

Проверка Go-тестов:

go test ./...

Проверка структуры проекта:

make check

Проверка OpenAPI-контракта:

make validate PYTHON=.venv/bin/python

Полный набор проверок уровня 4:

ROLLING=1 ./scripts/verify_level4.sh

Остановка окружения без удаления данных:

docker compose down

9. Вывод

В ходе лабораторной работы реализовано хранение бинарных вложений в S3-совместимом объектном хранилище с отделением метаданных от содержимого файлов.

Проверены авторизация и доступ к вложениям, работа нескольких API-реплик, сохранение данных после перезапуска, отказоустойчивость, повторная инициализация S3 и обработка orphan-объектов.

Последний полный запуск: 18 PASS из 19. Шаг 18-rolling не выполнился из-за сетевой ошибки Docker Hub при получении токена для базовых образов, до выполнения самого сценария обновления.

Таким образом, основные сценарии хранения вложений, работы S3 и отказоустойчивости подтверждены проверками.