From 6581f9e1d3250a8d13517cc8a1be37e534240c47 Mon Sep 17 00:00:00 2001 From: Tutuxaaa Date: Tue, 3 Nov 2026 00:41:40 +0300 Subject: [PATCH] lab4: s3 attachments, private bucket, healthchecks, tests and report --- DEFENSE.md | 70 ------------------------------------------------------ 1 file changed, 70 deletions(-) delete mode 100644 DEFENSE.md diff --git a/DEFENSE.md b/DEFENSE.md deleted file mode 100644 index 32cf159..0000000 --- a/DEFENSE.md +++ /dev/null @@ -1,70 +0,0 @@ -# Защита ЛР4 — Вероника Вотчицева, БВТ2302 (цель: 4) - -## Рассказ на 2–3 минуты - -«В предыдущей лабораторной я настроила два экземпляра FastAPI за HAProxy и общие PostgreSQL/Redis. -В четвёртой добавила к мессенджеру передачу изображений через приватное S3-совместимое хранилище. -Для этого выбрала SeaweedFS, развернула его отдельным сервисом в Docker Compose и выделила persistent volume. - -Теперь при загрузке сервер проверяет сессию пользователя и его участие в чате, потом проверяет filename, -настоящий тип PNG или JPEG, лимит 10 МиБ и 40 миллионов пикселей. Данные читаются порциями, а не -целиком в RAM. Бинарный файл сохраняется в S3 под случайным ключом, а PostgreSQL хранит только -метаданные: UUID, чат, владелец, размер, SHA-256, тип и object key. Ответ 201 возвращается после -успешного сохранения файла и метаданных. - -В API появились методы для получения метаданных и оригинала изображения. Даже зная UUID чужого файла, -пользователь без доступа к чату получит 404. Файл не лежит в каталоге API-контейнера и доступен при -переключении между двумя репликами через HAProxy. - -Вложения привязываются к сообщениям через отдельную таблицу связей. Я сохранила идемпотентность -отправки сообщений: повтор с тем же ключом возвращает исходное сообщение, включая attachment_ids. - -Если запись в S3 выполнена, а сохранение в PostgreSQL не удалось, я пытаюсь удалить файл. -При аварии между этими операциями остаётся возможный orphan; его безопасно находит отдельный -reconciler, который удаляет только старые объекты после grace period. Для четвёрки я также -подготовила негативные тесты и эксперимент из десяти одновременных загрузок с измерением RAM». - -## Что показать - -1. `compose.yaml`: API × 2, `lb` HAProxy, `db`, `redis`, `s3`, volume. -2. `infra/haproxy.cfg`: `balance roundrobin`, `option httpchk GET /health/ready`. -3. `src/db.py`: `Attachment`, `MessageAttachment` и поле `request_attachment_ids`. -4. `src/main.py`: `upload_attachment()`, `attachment_bytes()`, `post_message()`. -5. `src/images.py`: `Image.open`, `verify`, `load`, предел bytes/pixels. -6. `src/reconcile.py`: dry-run и grace period >=3600 секунд. -7. PowerShell: `python tests/smoke.py`; `python student-tests/test_attachments.py`. -8. `docker compose exec -T api1 python -m src.private_check`: запрет анонимного доступа в S3. -9. `python scripts/experiment_uploads.py` и `evidence/uploads-10.json`: реальная память и задержки. -10. Переключение: после загрузки остановить `api1`, скачать оригинал через `localhost:8080` и восстановить реплику. - -## Возможные вопросы - -**Почему не сохраняешь изображения в PostgreSQL?** — Байты хранит объектное хранилище, БД хранит -структурированные метаданные. Это отделяет путь запросов и бинарные объекты. - -**Почему файл не хранится в локальном каталоге `api1`?** — После переключения на `api2` его там не будет. -Файл хранится в общем S3, поэтому обе реплики обращаются к одному объекту. - -**Когда возвращаешь 201?** — После успешного S3 PUT и PostgreSQL COMMIT; есть вероятность аварии между -этими независимыми действиями, поэтому добавлена компенсация/сверка. - -**Почему случайного object key недостаточно для доступа?** — Секретность адреса не равно авторизации. -Поэтому проверяю токен и членство в чате перед любым скачиванием. - -**Чем отличается S3 от HAProxy?** — HAProxy распределяет HTTP-запросы между API, S3 хранит содержимое -объектов. Это разные уровни инфраструктуры. - -**Как добавить ещё одну реплику?** — Добавить `api3: <<: *api` в compose.yaml и `server api3 api3:8080` -в backend HAProxy, затем обновить depends_on и скрипты. - -**Что при отказе S3?** — Загрузки/скачивания не работают, readiness возвращает 503. Наличие нескольких -API не защищает от падения общего S3. - -**Где ограничение RAM?** — Читаю запрос потоково, временный файл хранится на диске после 1 MiB, -и ограничиваю размер, пиксели и одновременное декодирование изображений. - -**Что такое orphan?** — Объект есть в S3, но у него нет ссылки в PostgreSQL. Он может остаться после -аварии между PUT и COMMIT. Reconciler ждёт один час и проверяет ссылки в БД перед удалением. - -**Как вернуть старые сообщения после миграции?** — Таблица `messages` сохранена, создаются только новые -таблицы и колонка. Старыe записи получают `attachment_ids=[]` при чтении.