forked from mtusi2026/mtusi2026lab4
82 lines
8.6 KiB
Markdown
82 lines
8.6 KiB
Markdown
# Лабораторная работа № 4
|
|
|
|
## Цель
|
|
|
|
Добавить к сообщениям изображения и проверить, что файлы не теряются при остановке одной копии приложения или перезапуске стенда.
|
|
|
|
Работа выполнена на оценку 5. Я выбрала второй трек — проверку согласованности базы данных и файлового хранилища.
|
|
|
|
## Что сделано
|
|
|
|
За основу я взяла свою третью лабораторную. Из неё остались регистрация, вход, чаты, сообщения и две копии API с балансировщиком HAProxy. Повторная отправка сообщения с тем же ключом не создаёт дубликат.
|
|
|
|
Для файлов я добавила SeaweedFS — хранилище. В PostgreSQL записываются название файла, размер, контрольная сумма и связь с чатом. Сам файл хранится отдельно в хранилище. Данные обоих хранилищ находятся в Docker volumes и сохраняются после перезапуска.
|
|
|
|
Можно загружать PNG и JPEG размером до 10 MiB и до 40 миллионов пикселей. Сервер проверяет содержимое изображения, а не только расширение. Повреждённые файлы и опасные имена отклоняются. Файл принимается частями, чтобы не держать его целиком в оперативной памяти. В одной копии API одновременно обрабатываются не больше двух загрузок, время приёма ограничено 30 секундами.
|
|
|
|
Название файла не используется как путь в хранилище: сервер сам создаёт случайный ключ. Скачать изображение можно через API после входа и проверки участия в чате. Само хранилище закрыто для посторонних. У API отдельные права только на нужный bucket, административные пароли ему не передаются. Наружу открыт только порт балансировщика.
|
|
|
|
Ответ 201 возвращается после сохранения файла и записи в базе. Если файл сохранился, а запись в базу не удалась, приложение пытается удалить лишний файл. Если результат сохранения в базу неизвестен, файл остаётся до отдельной проверки, чтобы случайно не удалить нужное вложение.
|
|
|
|
## Запуск
|
|
|
|
Из папки проекта нужно выполнить:
|
|
|
|
```
|
|
python -X utf8 scripts/bootstrap.py
|
|
docker compose up -d --build --wait --wait-timeout 180
|
|
python -X utf8 scripts/verify.py --full
|
|
```
|
|
|
|
Первая команда создаёт локальные пароли и настройки. Повторный запуск сохраняет существующие пароли. Таблицы и закрытый bucket создаются автоматически. Файлы из `secrets/` и `.env` не добавляются в Git.
|
|
|
|
API работает по адресу `http://localhost:8080`. Проверка готовности — `http://localhost:8080/health/ready`.
|
|
|
|
Команда `docker compose down` останавливает стенд с сохранением данных. Команда `docker compose down --volumes` удаляет и контейнеры, и учебные данные. Для обычной остановки она не нужна.
|
|
|
|
## Проверки
|
|
|
|
Для полной проверки я использовала `python -X utf8 scripts/verify.py --full`. Скрипт сам запускает тесты, перезапускает стенд и по очереди останавливает копии API.
|
|
|
|
| Что проверялось | Результат |
|
|
| --- | --- |
|
|
| Регистрация, вход, чаты и сообщения | Работают, повторная отправка не создаёт дубликат |
|
|
| Загрузка PNG и JPEG | После скачивания байты и контрольная сумма совпадают |
|
|
| Доступ другого участника чата | Файл доступен |
|
|
| Доступ постороннего | API возвращает 404, прямое обращение к S3 — 403 |
|
|
| Файл больше 10 MiB или 40 млн пикселей | Ошибка 413 |
|
|
| Повреждённое изображение или неверный MIME | Ошибка 415 |
|
|
| Опасное имя файла | Ошибка 400 |
|
|
| Вложение из другого чата | Ошибка 404 |
|
|
| Обрыв загрузки | Неполный файл не публикуется |
|
|
| Остановка загрузившей копии API | Другая копия скачивает тот же файл |
|
|
| Перезапуск API, PostgreSQL и SeaweedFS | Сообщения, файлы и действующая сессия сохраняются |
|
|
| Остановка S3 | Проверка готовности возвращает 503, после запуска файл снова доступен |
|
|
|
|
|
|
Полные числа, время ответов и вывод тестов находятся в [evidence/RESULTS.md]
|
|
|
|
## Задание на 5: проверка двух хранилищ
|
|
|
|
Моя гипотеза: отдельная проверка сможет найти лишние файлы и потерянные оригиналы, при этом не удаляя новые и используемые вложения.
|
|
|
|
Для этого я добавила скрипт сверки. Сначала он только показывает найденные проблемы. С параметром `--apply` исправляет их:
|
|
|
|
```
|
|
docker compose exec -T api python -m src.reconcile
|
|
docker compose exec -T api python -m src.reconcile --apply
|
|
```
|
|
|
|
Если у файла нет записи в базе, скрипт удаляет его только после защитного периода. Если запись есть, но самого файла нет, запись и ссылки из сообщений сохраняются, а вложение отмечается как недоступное. Вернуть потерянные байты скрипт не может — для этого нужна резервная копия.
|
|
|
|
Во время сверки используется блокировка PostgreSQL. Она не позволяет удалить файл, который другая копия API сейчас сохраняет. Новые файлы и файлы с записью в базе не удаляются. Сетевые ошибки не считаются доказательством потери файла.
|
|
|
|
Я специально создала файл без записи в базе и запись без файла. Первый проход нашёл обе проблемы и ничего не изменил. Исправление удалило лишний файл и отметило потерянный. Повторный запуск уже ничего не изменил. Свежий файл и старое вложение, используемое в сообщении, сохранились.
|
|
|
|
|
|
Эти проверки находятся в `student-tests/acceptance.py` и `student-tests/consistency.py`.Она запускается вручную, автоматически при старте API не выполняется.
|
|
|
|
## Ограничения
|
|
|
|
Всё запущено на одном компьютере. Проверки показали, что остановка одной API и перезапуск стенда не теряют данные. Но при потере диска или Docker volumes данные без резервной копии восстановить не получится. База, балансировщик и S3 работают в одном экземпляре.
|