Лабораторная №4 — В. Вотчицева, БВТ2302
Тема: приватное S3-хранилище изображений и вложения в сообщения. Цель: оценка 4. Проект основан на личной ЛР3 (FastAPI + SQLAlchemy async + HAProxy), не на чужой реализации.
Что перенесено из ЛР3
Два FastAPI-контейнера api1, api2, HAProxy 3.0.5 (roundrobin), PostgreSQL 16.4,
Redis 7.4.1, bcrypt_sha256 и Idempotency-Key с SELECT FOR UPDATE.
Пользователи/чаты/старые сообщения остаются в базе при миграции на ЛР4.
Что добавлено в ЛР4
- S3-совместимый SeaweedFS 4.03 с volume, приватным bucket
messenger-attachments. - Раздельные S3 учётные записи: admin и API (доступ только к своему bucket).
- PostgreSQL:
attachments(метаданные) +message_attachments(связь), дополнение idempotency key. POST /api/v1/chats/{chat_id}/attachments?filename=photo.png— сырые байты PNG/JPEG (НЕ multipart), лимит 10 MiB и 40 MP, защита от опасных filename, проверка реального формата и декодирования.GET /api/v1/attachments/{id}— метаданные,GET /content— потоковое скачивание оригинала после проверки членства.- Сообщения могут иметь до десяти
attachment_ids; теперь разрешён пустой текст при непустом списке вложений. - Компенсирующее удаление S3 при неудаче PostgreSQL + безопасный
reconcileпосле аварии с grace period >=1 час.
Запуск (Windows PowerShell)
- Откройте Docker Desktop и распакованную папку проекта в VS Code.
- Создайте локальный файл конфигурации:
Copy-Item .env.example .env
notepad .env
Замените пароли POSTGRES_PASSWORD, S3_ROOT_PASSWORD, S3_SECRET_ACCESS_KEY на свои.
Секреты нельзя публиковать в Git или отчёте. Если уже существует volume PostgreSQL от ЛР3,
оставьте прежний пароль PostgreSQL, иначе аутентификация перестанет работать.
- Запустите:
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 150
docker compose ps -a
Invoke-RestMethod http://localhost:8080/health/ready
Swagger: http://localhost:8080/docs.
Важный нюанс: POST /attachments принимает сырые bytes. Swagger отправляет их через body типа image/png;
не используйте multipart/form-data и UploadFile с полем file.
Тестирование
python tests/smoke.py
python student-tests/run.py
python student-tests/test_attachments.py
python scripts/check_grade4.py
python scripts/experiment_uploads.py
Проверка private bucket (после любого успешного upload):
docker compose exec -T api1 python -m src.private_check
Проверка cleanup (по умолчанию dry-run):
docker compose exec -T api1 python -m src.reconcile
docker compose exec -T api1 python -m src.reconcile --apply
ОСТОРОЖНО: --apply удаляет только старые незарегистрированные S3 объекты, но без необходимости его не запускайте.
Для тестов отказа и сохранности см. tests/README.md; используйте scripts/stop-one.sh/scripts/restart.sh
в среде, где .sh запускаются. В Windows можно продемонстрировать остановку api1 через
docker compose stop api1, доступность файла через API на api2, и восстановить docker compose up -d --wait api1.
Для полного теста сохранности: docker compose down (БЕЗ -v) и повторное docker compose up -d --wait.
Не запускайте docker compose down -v при проверке сохранности — удалятся данные.
Файлы для защиты
src/main.py— API, авторизация, проверки доступа и сообщения.src/db.py,src/migrate.py— модели SQLAlchemy, миграции без удаления данных.src/images.py— проверка настоящего формата и декодирования PNG/JPEG.src/storage.py— boto3 S3 client;src/reconcile.py— очистка старых orphan.infra/haproxy.cfg—roundrobin, активные проверки.infra/generate-s3-config.py— разграничение S3 credentials, приватный bucket.scripts/experiment_uploads.py— 10 одновременных upload и замер памяти контейнеров.
Официальные спецификация и тесты курса: contracts/, tests/.
Ограничения
Это учебный стенд. Модель S3 с одним SeaweedFS — общая точка отказа. Нет HTTPS для внешней сети. Результаты контейнерных испытаний и замеры RAM нужно заполнить после реального запуска; статический анализ их не заменяет.