Files

8.6 KiB

Лабораторная работа № 4

Цель

Добавить к сообщениям изображения и проверить, что файлы не теряются при остановке одной копии приложения или перезапуске стенда.

Работа выполнена на оценку 5. Я выбрала второй трек — проверку согласованности базы данных и файлового хранилища.

Что сделано

За основу я взяла свою третью лабораторную. Из неё остались регистрация, вход, чаты, сообщения и две копии API с балансировщиком HAProxy. Повторная отправка сообщения с тем же ключом не создаёт дубликат.

Для файлов я добавила SeaweedFS — хранилище. В PostgreSQL записываются название файла, размер, контрольная сумма и связь с чатом. Сам файл хранится отдельно в хранилище. Данные обоих хранилищ находятся в Docker volumes и сохраняются после перезапуска.

Можно загружать PNG и JPEG размером до 10 MiB и до 40 миллионов пикселей. Сервер проверяет содержимое изображения, а не только расширение. Повреждённые файлы и опасные имена отклоняются. Файл принимается частями, чтобы не держать его целиком в оперативной памяти. В одной копии API одновременно обрабатываются не больше двух загрузок, время приёма ограничено 30 секундами.

Название файла не используется как путь в хранилище: сервер сам создаёт случайный ключ. Скачать изображение можно через API после входа и проверки участия в чате. Само хранилище закрыто для посторонних. У API отдельные права только на нужный bucket, административные пароли ему не передаются. Наружу открыт только порт балансировщика.

Ответ 201 возвращается после сохранения файла и записи в базе. Если файл сохранился, а запись в базу не удалась, приложение пытается удалить лишний файл. Если результат сохранения в базу неизвестен, файл остаётся до отдельной проверки, чтобы случайно не удалить нужное вложение.

Запуск

Из папки проекта нужно выполнить:

python -X utf8 scripts/bootstrap.py
docker compose up -d --build --wait --wait-timeout 180
python -X utf8 scripts/verify.py --full

Первая команда создаёт локальные пароли и настройки. Повторный запуск сохраняет существующие пароли. Таблицы и закрытый bucket создаются автоматически. Файлы из secrets/ и .env не добавляются в Git.

API работает по адресу http://localhost:8080. Проверка готовности — http://localhost:8080/health/ready.

Команда docker compose down останавливает стенд с сохранением данных. Команда docker compose down --volumes удаляет и контейнеры, и учебные данные. Для обычной остановки она не нужна.

Проверки

Для полной проверки я использовала python -X utf8 scripts/verify.py --full. Скрипт сам запускает тесты, перезапускает стенд и по очереди останавливает копии API.

Что проверялось Результат
Регистрация, вход, чаты и сообщения Работают, повторная отправка не создаёт дубликат
Загрузка PNG и JPEG После скачивания байты и контрольная сумма совпадают
Доступ другого участника чата Файл доступен
Доступ постороннего API возвращает 404, прямое обращение к S3 — 403
Файл больше 10 MiB или 40 млн пикселей Ошибка 413
Повреждённое изображение или неверный MIME Ошибка 415
Опасное имя файла Ошибка 400
Вложение из другого чата Ошибка 404
Обрыв загрузки Неполный файл не публикуется
Остановка загрузившей копии API Другая копия скачивает тот же файл
Перезапуск API, PostgreSQL и SeaweedFS Сообщения, файлы и действующая сессия сохраняются
Остановка S3 Проверка готовности возвращает 503, после запуска файл снова доступен

Полные числа, время ответов и вывод тестов находятся в [evidence/RESULTS.md]

Задание на 5: проверка двух хранилищ

Моя гипотеза: отдельная проверка сможет найти лишние файлы и потерянные оригиналы, при этом не удаляя новые и используемые вложения.

Для этого я добавила скрипт сверки. Сначала он только показывает найденные проблемы. С параметром --apply исправляет их:

docker compose exec -T api python -m src.reconcile
docker compose exec -T api python -m src.reconcile --apply

Если у файла нет записи в базе, скрипт удаляет его только после защитного периода. Если запись есть, но самого файла нет, запись и ссылки из сообщений сохраняются, а вложение отмечается как недоступное. Вернуть потерянные байты скрипт не может — для этого нужна резервная копия.

Во время сверки используется блокировка PostgreSQL. Она не позволяет удалить файл, который другая копия API сейчас сохраняет. Новые файлы и файлы с записью в базе не удаляются. Сетевые ошибки не считаются доказательством потери файла.

Я специально создала файл без записи в базе и запись без файла. Первый проход нашёл обе проблемы и ничего не изменил. Исправление удалило лишний файл и отметило потерянный. Повторный запуск уже ничего не изменил. Свежий файл и старое вложение, используемое в сообщении, сохранились.

Эти проверки находятся в student-tests/acceptance.py и student-tests/consistency.py.Она запускается вручную, автоматически при старте API не выполняется.

Ограничения

Всё запущено на одном компьютере. Проверки показали, что остановка одной API и перезапуск стенда не теряют данные. Но при потере диска или Docker volumes данные без резервной копии восстановить не получится. База, балансировщик и S3 работают в одном экземпляре.