8.6 KiB
Лабораторная работа № 4
Цель
Добавить к сообщениям изображения и проверить, что файлы не теряются при остановке одной копии приложения или перезапуске стенда.
Работа выполнена на оценку 5. Я выбрала второй трек — проверку согласованности базы данных и файлового хранилища.
Что сделано
За основу я взяла свою третью лабораторную. Из неё остались регистрация, вход, чаты, сообщения и две копии API с балансировщиком HAProxy. Повторная отправка сообщения с тем же ключом не создаёт дубликат.
Для файлов я добавила SeaweedFS — хранилище. В PostgreSQL записываются название файла, размер, контрольная сумма и связь с чатом. Сам файл хранится отдельно в хранилище. Данные обоих хранилищ находятся в Docker volumes и сохраняются после перезапуска.
Можно загружать PNG и JPEG размером до 10 MiB и до 40 миллионов пикселей. Сервер проверяет содержимое изображения, а не только расширение. Повреждённые файлы и опасные имена отклоняются. Файл принимается частями, чтобы не держать его целиком в оперативной памяти. В одной копии API одновременно обрабатываются не больше двух загрузок, время приёма ограничено 30 секундами.
Название файла не используется как путь в хранилище: сервер сам создаёт случайный ключ. Скачать изображение можно через API после входа и проверки участия в чате. Само хранилище закрыто для посторонних. У API отдельные права только на нужный bucket, административные пароли ему не передаются. Наружу открыт только порт балансировщика.
Ответ 201 возвращается после сохранения файла и записи в базе. Если файл сохранился, а запись в базу не удалась, приложение пытается удалить лишний файл. Если результат сохранения в базу неизвестен, файл остаётся до отдельной проверки, чтобы случайно не удалить нужное вложение.
Запуск
Из папки проекта нужно выполнить:
python -X utf8 scripts/bootstrap.py
docker compose up -d --build --wait --wait-timeout 180
python -X utf8 scripts/verify.py --full
Первая команда создаёт локальные пароли и настройки. Повторный запуск сохраняет существующие пароли. Таблицы и закрытый bucket создаются автоматически. Файлы из secrets/ и .env не добавляются в Git.
API работает по адресу http://localhost:8080. Проверка готовности — http://localhost:8080/health/ready.
Команда docker compose down останавливает стенд с сохранением данных. Команда docker compose down --volumes удаляет и контейнеры, и учебные данные. Для обычной остановки она не нужна.
Проверки
Для полной проверки я использовала python -X utf8 scripts/verify.py --full. Скрипт сам запускает тесты, перезапускает стенд и по очереди останавливает копии API.
| Что проверялось | Результат |
|---|---|
| Регистрация, вход, чаты и сообщения | Работают, повторная отправка не создаёт дубликат |
| Загрузка PNG и JPEG | После скачивания байты и контрольная сумма совпадают |
| Доступ другого участника чата | Файл доступен |
| Доступ постороннего | API возвращает 404, прямое обращение к S3 — 403 |
| Файл больше 10 MiB или 40 млн пикселей | Ошибка 413 |
| Повреждённое изображение или неверный MIME | Ошибка 415 |
| Опасное имя файла | Ошибка 400 |
| Вложение из другого чата | Ошибка 404 |
| Обрыв загрузки | Неполный файл не публикуется |
| Остановка загрузившей копии API | Другая копия скачивает тот же файл |
| Перезапуск API, PostgreSQL и SeaweedFS | Сообщения, файлы и действующая сессия сохраняются |
| Остановка S3 | Проверка готовности возвращает 503, после запуска файл снова доступен |
Полные числа, время ответов и вывод тестов находятся в [evidence/RESULTS.md]
Задание на 5: проверка двух хранилищ
Моя гипотеза: отдельная проверка сможет найти лишние файлы и потерянные оригиналы, при этом не удаляя новые и используемые вложения.
Для этого я добавила скрипт сверки. Сначала он только показывает найденные проблемы. С параметром --apply исправляет их:
docker compose exec -T api python -m src.reconcile
docker compose exec -T api python -m src.reconcile --apply
Если у файла нет записи в базе, скрипт удаляет его только после защитного периода. Если запись есть, но самого файла нет, запись и ссылки из сообщений сохраняются, а вложение отмечается как недоступное. Вернуть потерянные байты скрипт не может — для этого нужна резервная копия.
Во время сверки используется блокировка PostgreSQL. Она не позволяет удалить файл, который другая копия API сейчас сохраняет. Новые файлы и файлы с записью в базе не удаляются. Сетевые ошибки не считаются доказательством потери файла.
Я специально создала файл без записи в базе и запись без файла. Первый проход нашёл обе проблемы и ничего не изменил. Исправление удалило лишний файл и отметило потерянный. Повторный запуск уже ничего не изменил. Свежий файл и старое вложение, используемое в сообщении, сохранились.
Эти проверки находятся в student-tests/acceptance.py и student-tests/consistency.py.Она запускается вручную, автоматически при старте API не выполняется.
Ограничения
Всё запущено на одном компьютере. Проверки показали, что остановка одной API и перезапуск стенда не теряют данные. Но при потере диска или Docker volumes данные без резервной копии восстановить не получится. База, балансировщик и S3 работают в одном экземпляре.