forked from mtusi2026/mtusi2026lab4
lab4: s3 attachments, private bucket, healthchecks, tests and report
This commit is contained in:
-70
@@ -1,70 +0,0 @@
|
||||
# Защита ЛР4 — Вероника Вотчицева, БВТ2302 (цель: 4)
|
||||
|
||||
## Рассказ на 2–3 минуты
|
||||
|
||||
«В предыдущей лабораторной я настроила два экземпляра FastAPI за HAProxy и общие PostgreSQL/Redis.
|
||||
В четвёртой добавила к мессенджеру передачу изображений через приватное S3-совместимое хранилище.
|
||||
Для этого выбрала SeaweedFS, развернула его отдельным сервисом в Docker Compose и выделила persistent volume.
|
||||
|
||||
Теперь при загрузке сервер проверяет сессию пользователя и его участие в чате, потом проверяет filename,
|
||||
настоящий тип PNG или JPEG, лимит 10 МиБ и 40 миллионов пикселей. Данные читаются порциями, а не
|
||||
целиком в RAM. Бинарный файл сохраняется в S3 под случайным ключом, а PostgreSQL хранит только
|
||||
метаданные: UUID, чат, владелец, размер, SHA-256, тип и object key. Ответ 201 возвращается после
|
||||
успешного сохранения файла и метаданных.
|
||||
|
||||
В API появились методы для получения метаданных и оригинала изображения. Даже зная UUID чужого файла,
|
||||
пользователь без доступа к чату получит 404. Файл не лежит в каталоге API-контейнера и доступен при
|
||||
переключении между двумя репликами через HAProxy.
|
||||
|
||||
Вложения привязываются к сообщениям через отдельную таблицу связей. Я сохранила идемпотентность
|
||||
отправки сообщений: повтор с тем же ключом возвращает исходное сообщение, включая attachment_ids.
|
||||
|
||||
Если запись в S3 выполнена, а сохранение в PostgreSQL не удалось, я пытаюсь удалить файл.
|
||||
При аварии между этими операциями остаётся возможный orphan; его безопасно находит отдельный
|
||||
reconciler, который удаляет только старые объекты после grace period. Для четвёрки я также
|
||||
подготовила негативные тесты и эксперимент из десяти одновременных загрузок с измерением RAM».
|
||||
|
||||
## Что показать
|
||||
|
||||
1. `compose.yaml`: API × 2, `lb` HAProxy, `db`, `redis`, `s3`, volume.
|
||||
2. `infra/haproxy.cfg`: `balance roundrobin`, `option httpchk GET /health/ready`.
|
||||
3. `src/db.py`: `Attachment`, `MessageAttachment` и поле `request_attachment_ids`.
|
||||
4. `src/main.py`: `upload_attachment()`, `attachment_bytes()`, `post_message()`.
|
||||
5. `src/images.py`: `Image.open`, `verify`, `load`, предел bytes/pixels.
|
||||
6. `src/reconcile.py`: dry-run и grace period >=3600 секунд.
|
||||
7. PowerShell: `python tests/smoke.py`; `python student-tests/test_attachments.py`.
|
||||
8. `docker compose exec -T api1 python -m src.private_check`: запрет анонимного доступа в S3.
|
||||
9. `python scripts/experiment_uploads.py` и `evidence/uploads-10.json`: реальная память и задержки.
|
||||
10. Переключение: после загрузки остановить `api1`, скачать оригинал через `localhost:8080` и восстановить реплику.
|
||||
|
||||
## Возможные вопросы
|
||||
|
||||
**Почему не сохраняешь изображения в PostgreSQL?** — Байты хранит объектное хранилище, БД хранит
|
||||
структурированные метаданные. Это отделяет путь запросов и бинарные объекты.
|
||||
|
||||
**Почему файл не хранится в локальном каталоге `api1`?** — После переключения на `api2` его там не будет.
|
||||
Файл хранится в общем S3, поэтому обе реплики обращаются к одному объекту.
|
||||
|
||||
**Когда возвращаешь 201?** — После успешного S3 PUT и PostgreSQL COMMIT; есть вероятность аварии между
|
||||
этими независимыми действиями, поэтому добавлена компенсация/сверка.
|
||||
|
||||
**Почему случайного object key недостаточно для доступа?** — Секретность адреса не равно авторизации.
|
||||
Поэтому проверяю токен и членство в чате перед любым скачиванием.
|
||||
|
||||
**Чем отличается S3 от HAProxy?** — HAProxy распределяет HTTP-запросы между API, S3 хранит содержимое
|
||||
объектов. Это разные уровни инфраструктуры.
|
||||
|
||||
**Как добавить ещё одну реплику?** — Добавить `api3: <<: *api` в compose.yaml и `server api3 api3:8080`
|
||||
в backend HAProxy, затем обновить depends_on и скрипты.
|
||||
|
||||
**Что при отказе S3?** — Загрузки/скачивания не работают, readiness возвращает 503. Наличие нескольких
|
||||
API не защищает от падения общего S3.
|
||||
|
||||
**Где ограничение RAM?** — Читаю запрос потоково, временный файл хранится на диске после 1 MiB,
|
||||
и ограничиваю размер, пиксели и одновременное декодирование изображений.
|
||||
|
||||
**Что такое orphan?** — Объект есть в S3, но у него нет ссылки в PostgreSQL. Он может остаться после
|
||||
аварии между PUT и COMMIT. Reconciler ждёт один час и проверяет ссылки в БД перед удалением.
|
||||
|
||||
**Как вернуть старые сообщения после миграции?** — Таблица `messages` сохранена, создаются только новые
|
||||
таблицы и колонка. Старыe записи получают `attachment_ids=[]` при чтении.
|
||||
Reference in New Issue
Block a user