forked from mtusi2026/mtusi2026lab4
5.9 KiB
5.9 KiB
Отчёт — лабораторная 4
- Дадайкин Андрей, БВТ2302
- Целевая оценка: 4
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ:
-
- aioboto3` для асинхронной работы с S3 API.
-
- Использован ИИ (LLM) для код-ревью структуры валидатора изображений
Запуск из чистого clone
Требования: ОС Windows 11 (или Linux/WSL2), Docker Desktop, Python 3.12, Poetry.
-
Настройка окружения: Скопируйте пример переменных окружения:
copy .env.example .env -
Запуск инфраструктуры и API:
docker compose --env-file .env up -d --buildКонтейнер
migrateавтоматически применит миграции к PostgreSQL перед стартомapi. SeaweedFS поднимется как S3-совместимое хранилище. -
Локальные тесты (в WSL или Git Bash):
poetry install poetry run make check poetry run make test BASE_URL=http://localhost:8080 poetry run pytest student-tests/ -
Тестирование отказоустойчивости:
poetry run make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 poetry run make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080(На Windows скрипты
.shнеобходимо запускать через WSL или терминал, поддерживающий bash-скрипты, предварительно выполнивchmod +x scripts/*.sh). -
Остановка и очистка данных:
docker compose down -v
Архитектура и решения
- Хранилище байтов (S3): Использован легковесный SeaweedFS (
chrislusf/seaweedfs:latest), работающий в режиме S3-шлюза. Сервис изолирован в сетиbackend, публичный доступ закрыт (доступ только через API-реплики). - Хранилище метаданных: PostgreSQL (таблица
attachmentsс полямиstatus,sha256,size_bytes,content_type). - Связь файлов и сообщений: Массив
attachment_ids (UUID[])добавлен в таблицуmessages. - Потоковая загрузка: Реализован endpoint
POST /chats/{chat_id}/attachments. Данные читаются черезrequest.stream()и записываются вtempfile. - Эффективная защита по RAM (Anti-Decompression Bomb): Парсинг ширины и высоты PNG/JPEG происходит путем ручного чтения бинарных заголовков. Это позволяет отсекать изображения >40 млн пикселей, не декодируя файл в оперативную память.
- Безопасность имен: Оригинальное имя файла
filenameсохраняется в БД для отображения клиенту. В S3 объект сохраняется под сгенерированным ключомchat_id/attachment_id, что исключает атаки типа Path Traversal.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
Пройден сценарий lab4, SHA-256 скачанного файла совпал. | tests/smoke.py |
| Ограничение загрузки (до 10 МБ, mime) | pytest student-tests/test_attachments.py |
Загрузка TXT под видом PNG возвращает 415. | student-tests/test_attachments.py |
| Отсутствие доступа у постороннего | make test |
Вызов GET-методов контента от 3-го лица выдает 404. | tests/smoke.py |
| Restart стенда с сохранением файлов | make test-persistence |
После scripts/restart.sh (БД, Valkey, API, S3) скачанный файл не бьется. |
scripts/restart.sh |
| Отказ API при загрузке (failover) | make test-failover |
Скачивание файла происходит успешно через соседнюю реплику после остановки первой. | scripts/stop-one.sh |
| Механизм компенсации БД/S3 | Запуск scripts/reconcile_s3.py |
Скрипт (запускаемый по cron) находит queued файлы старше 24ч и удаляет сирот из S3. |
scripts/reconcile_s3.py |
Ограничения и следующие шаги
- Ограничения парсера: Ручной валидатор изображений
validate_image_and_get_mimeподдерживает базовые форматы JPEG и PNG. Прогрессивные форматы (WebP, AVIF) пока отклоняются с ошибкой 415. - Упрощение реконсиляции: Текущий механизм реконсилятора (
reconcile_s3.py) запускается вручную. В production среде его необходимо вынести в Celery Beat или Kubernetes CronJob. - Следующий шаг: Переход на асинхронную генерацию миниатюр (thumbnail) и crop вариантов через брокер сообщений (RabbitMQ) для выполнения требований Лабораторной №5.