lab4: s3 attachments, private bucket, healthchecks, tests and report

This commit is contained in:
2026-11-03 00:41:40 +03:00
parent dfadf3eb7c
commit 6581f9e1d3
-70
View File
@@ -1,70 +0,0 @@
# Защита ЛР4 — Вероника Вотчицева, БВТ2302 (цель: 4)
## Рассказ на 2–3 минуты
«В предыдущей лабораторной я настроила два экземпляра FastAPI за HAProxy и общие PostgreSQL/Redis.
В четвёртой добавила к мессенджеру передачу изображений через приватное S3-совместимое хранилище.
Для этого выбрала SeaweedFS, развернула его отдельным сервисом в Docker Compose и выделила persistent volume.
Теперь при загрузке сервер проверяет сессию пользователя и его участие в чате, потом проверяет filename,
настоящий тип PNG или JPEG, лимит 10 МиБ и 40 миллионов пикселей. Данные читаются порциями, а не
целиком в RAM. Бинарный файл сохраняется в S3 под случайным ключом, а PostgreSQL хранит только
метаданные: UUID, чат, владелец, размер, SHA-256, тип и object key. Ответ 201 возвращается после
успешного сохранения файла и метаданных.
В API появились методы для получения метаданных и оригинала изображения. Даже зная UUID чужого файла,
пользователь без доступа к чату получит 404. Файл не лежит в каталоге API-контейнера и доступен при
переключении между двумя репликами через HAProxy.
Вложения привязываются к сообщениям через отдельную таблицу связей. Я сохранила идемпотентность
отправки сообщений: повтор с тем же ключом возвращает исходное сообщение, включая attachment_ids.
Если запись в S3 выполнена, а сохранение в PostgreSQL не удалось, я пытаюсь удалить файл.
При аварии между этими операциями остаётся возможный orphan; его безопасно находит отдельный
reconciler, который удаляет только старые объекты после grace period. Для четвёрки я также
подготовила негативные тесты и эксперимент из десяти одновременных загрузок с измерением RAM».
## Что показать
1. `compose.yaml`: API × 2, `lb` HAProxy, `db`, `redis`, `s3`, volume.
2. `infra/haproxy.cfg`: `balance roundrobin`, `option httpchk GET /health/ready`.
3. `src/db.py`: `Attachment`, `MessageAttachment` и поле `request_attachment_ids`.
4. `src/main.py`: `upload_attachment()`, `attachment_bytes()`, `post_message()`.
5. `src/images.py`: `Image.open`, `verify`, `load`, предел bytes/pixels.
6. `src/reconcile.py`: dry-run и grace period >=3600 секунд.
7. PowerShell: `python tests/smoke.py`; `python student-tests/test_attachments.py`.
8. `docker compose exec -T api1 python -m src.private_check`: запрет анонимного доступа в S3.
9. `python scripts/experiment_uploads.py` и `evidence/uploads-10.json`: реальная память и задержки.
10. Переключение: после загрузки остановить `api1`, скачать оригинал через `localhost:8080` и восстановить реплику.
## Возможные вопросы
**Почему не сохраняешь изображения в PostgreSQL?** — Байты хранит объектное хранилище, БД хранит
структурированные метаданные. Это отделяет путь запросов и бинарные объекты.
**Почему файл не хранится в локальном каталоге `api1`?** — После переключения на `api2` его там не будет.
Файл хранится в общем S3, поэтому обе реплики обращаются к одному объекту.
**Когда возвращаешь 201?** — После успешного S3 PUT и PostgreSQL COMMIT; есть вероятность аварии между
этими независимыми действиями, поэтому добавлена компенсация/сверка.
**Почему случайного object key недостаточно для доступа?** — Секретность адреса не равно авторизации.
Поэтому проверяю токен и членство в чате перед любым скачиванием.
**Чем отличается S3 от HAProxy?** — HAProxy распределяет HTTP-запросы между API, S3 хранит содержимое
объектов. Это разные уровни инфраструктуры.
**Как добавить ещё одну реплику?** — Добавить `api3: <<: *api` в compose.yaml и `server api3 api3:8080`
в backend HAProxy, затем обновить depends_on и скрипты.
**Что при отказе S3?** — Загрузки/скачивания не работают, readiness возвращает 503. Наличие нескольких
API не защищает от падения общего S3.
**Где ограничение RAM?** — Читаю запрос потоково, временный файл хранится на диске после 1 MiB,
и ограничиваю размер, пиксели и одновременное декодирование изображений.
**Что такое orphan?** — Объект есть в S3, но у него нет ссылки в PostgreSQL. Он может остаться после
аварии между PUT и COMMIT. Reconciler ждёт один час и проверяет ссылки в БД перед удалением.
**Как вернуть старые сообщения после миграции?** — Таблица `messages` сохранена, создаются только новые
таблицы и колонка. Старыe записи получают `attachment_ids=[]` при чтении.