Files
mtusi2026lab4/REPORT.md
T

4.5 KiB

Отчёт — Лабораторная 4 (S3-хранилище и вложения)

  • Автор, группа: Захарова Ксения Алексеевна, БВТ2302
  • Целевая оценка: 5 (выбран Трек 2: Согласованность двух хранилищ)
  • Commit/PR: [ссылка на MR]
  • Использованные источники: Материалы курса, документация RustFS, boto3, Docker Compose, PostgreSQL.

1. Архитектура и запуск

  • S3-хранилище: RustFS (rustfs/rustfs:latest). Бакет attachments создаётся при старте rustfs-init и является приватным. Прямой GET без подписи возвращает 403 Forbidden.
  • База данных: PostgreSQL 16. Хранит метаданные вложений (attachments) и связь с сообщениями (message_attachments).
  • API: Python (stdlib), 2 реплики за Nginx. Взаимодействие с S3 через boto3.
  • Запуск: docker compose up -d --build --scale api=2 (после docker compose down -v).
  • Тесты: $env:PYTHONUTF8=1; make check PYTHON=python; make test PYTHON=python.

2. Доказательства критериев (Уровень 3 и 4)

Критерий Команда/Сценарий Наблюдаемый результат Файл доказательства
Загрузка, отправка и скачивание Загрузка fixture, отправка message, скачивание как второй участник SHA-256 совпадает с оригиналом evidence/01_upload_download.txt
Чужой пользователь Попытка Евы получить метаданные и файл HTTP 404 Not Found evidence/02_security_404.txt
Приватность S3 Прямой GET к RustFS без авторизации HTTP/1.1 403 Forbidden evidence/02_security_404.txt
Отказ реплики (Failover) Остановка одной API-реплики, скачивание через живую Успешное скачивание, файл не потерян evidence/03_failover_persistence.txt
Сохранность (Persistence) docker compose restart, проверка старым токеном Токен и файл в S3 выжили evidence/03_failover_persistence.txt
Нет локальных файлов ls /app внутри контейнера API Только app.py и requirements.txt evidence/04_no_local_files.txt

3. Трек 2: Согласованность двух хранилищ

Гипотеза: Если между записью в S3 и БД произойдёт сбой, в S3 останутся «файлы-сироты» (orphans), которые занимают место.

Методика: Разработан скрипт scripts/reconcile.py. Он сканирует бакет S3 и таблицу attachments в PostgreSQL.

  • Orphans: файлы в S3, которых нет в БД (удаляются с grace period).
  • Missing: файлы в БД, которых нет в S3 (выводятся как ошибки).
  • Grace period: защищает только что загруженные файлы от удаления (в демо GRACE_HOURS=0, в production 1 час).

Результаты (из evidence/05_track2_reconcile.txt):

  1. Загружен файл orphan-test-file напрямую в S3 (минуя API).
  2. reconcile.py (Dry-run) обнаружил сироту, но не удалил (так как сработал grace period).
  3. reconcile.py --fix безопасно удалил файл из S3.
  4. Повторный прямой GET подтвердил, что файл удалён (403 Forbidden).

4. Ограничения

  • Тестирование проводилось на одном физическом хосте (Docker Desktop).
  • Используется один узел Docker Compose. Высокая доступность (HA) самого S3-хранилища и БД не гарантируется.
  • RustFS не поддерживает стандартные ACL AWS, поэтому приватность обеспечена отсутствием публичных политик (доступ только по ключам).