Files

5.9 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Дадайкин Андрей, БВТ2302
  • Целевая оценка: 4
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ:
    • aioboto3` для асинхронной работы с S3 API.
    • Использован ИИ (LLM) для код-ревью структуры валидатора изображений

Запуск из чистого clone

Требования: ОС Windows 11 (или Linux/WSL2), Docker Desktop, Python 3.12, Poetry.

  1. Настройка окружения: Скопируйте пример переменных окружения:

    copy .env.example .env
    
  2. Запуск инфраструктуры и API:

    docker compose --env-file .env up -d --build
    

    Контейнер migrate автоматически применит миграции к PostgreSQL перед стартом api. SeaweedFS поднимется как S3-совместимое хранилище.

  3. Локальные тесты (в WSL или Git Bash):

    poetry install
    poetry run make check
    poetry run make test BASE_URL=http://localhost:8080
    poetry run pytest student-tests/
    
  4. Тестирование отказоустойчивости:

    poetry run make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
    poetry run make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
    

    (На Windows скрипты .sh необходимо запускать через WSL или терминал, поддерживающий bash-скрипты, предварительно выполнив chmod +x scripts/*.sh).

  5. Остановка и очистка данных:

    docker compose down -v
    

Архитектура и решения

  • Хранилище байтов (S3): Использован легковесный SeaweedFS (chrislusf/seaweedfs:latest), работающий в режиме S3-шлюза. Сервис изолирован в сети backend, публичный доступ закрыт (доступ только через API-реплики).
  • Хранилище метаданных: PostgreSQL (таблица attachments с полями status, sha256, size_bytes, content_type).
  • Связь файлов и сообщений: Массив attachment_ids (UUID[]) добавлен в таблицу messages.
  • Потоковая загрузка: Реализован endpoint POST /chats/{chat_id}/attachments. Данные читаются через request.stream() и записываются в tempfile.
  • Эффективная защита по RAM (Anti-Decompression Bomb): Парсинг ширины и высоты PNG/JPEG происходит путем ручного чтения бинарных заголовков. Это позволяет отсекать изображения >40 млн пикселей, не декодируя файл в оперативную память.
  • Безопасность имен: Оригинальное имя файла filename сохраняется в БД для отображения клиенту. В S3 объект сохраняется под сгенерированным ключом chat_id/attachment_id, что исключает атаки типа Path Traversal.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test Пройден сценарий lab4, SHA-256 скачанного файла совпал. tests/smoke.py
Ограничение загрузки (до 10 МБ, mime) pytest student-tests/test_attachments.py Загрузка TXT под видом PNG возвращает 415. student-tests/test_attachments.py
Отсутствие доступа у постороннего make test Вызов GET-методов контента от 3-го лица выдает 404. tests/smoke.py
Restart стенда с сохранением файлов make test-persistence После scripts/restart.sh (БД, Valkey, API, S3) скачанный файл не бьется. scripts/restart.sh
Отказ API при загрузке (failover) make test-failover Скачивание файла происходит успешно через соседнюю реплику после остановки первой. scripts/stop-one.sh
Механизм компенсации БД/S3 Запуск scripts/reconcile_s3.py Скрипт (запускаемый по cron) находит queued файлы старше 24ч и удаляет сирот из S3. scripts/reconcile_s3.py

Ограничения и следующие шаги

  • Ограничения парсера: Ручной валидатор изображений validate_image_and_get_mime поддерживает базовые форматы JPEG и PNG. Прогрессивные форматы (WebP, AVIF) пока отклоняются с ошибкой 415.
  • Упрощение реконсиляции: Текущий механизм реконсилятора (reconcile_s3.py) запускается вручную. В production среде его необходимо вынести в Celery Beat или Kubernetes CronJob.
  • Следующий шаг: Переход на асинхронную генерацию миниатюр (thumbnail) и crop вариантов через брокер сообщений (RabbitMQ) для выполнения требований Лабораторной №5.