4.5 KiB
4.5 KiB
Отчёт — Лабораторная 4 (S3-хранилище и вложения)
- Автор, группа: Захарова Ксения Алексеевна, БВТ2302
- Целевая оценка: 5 (выбран Трек 2: Согласованность двух хранилищ)
- Commit/PR: [ссылка на MR]
- Использованные источники: Материалы курса, документация RustFS, boto3, Docker Compose, PostgreSQL.
1. Архитектура и запуск
- S3-хранилище: RustFS (
rustfs/rustfs:latest). Бакетattachmentsсоздаётся при стартеrustfs-initи является приватным. Прямой GET без подписи возвращает403 Forbidden. - База данных: PostgreSQL 16. Хранит метаданные вложений (
attachments) и связь с сообщениями (message_attachments). - API: Python (stdlib), 2 реплики за Nginx. Взаимодействие с S3 через
boto3. - Запуск:
docker compose up -d --build --scale api=2(послеdocker compose down -v). - Тесты:
$env:PYTHONUTF8=1; make check PYTHON=python; make test PYTHON=python.
2. Доказательства критериев (Уровень 3 и 4)
| Критерий | Команда/Сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Загрузка, отправка и скачивание | Загрузка fixture, отправка message, скачивание как второй участник | SHA-256 совпадает с оригиналом | evidence/01_upload_download.txt |
| Чужой пользователь | Попытка Евы получить метаданные и файл | HTTP 404 Not Found |
evidence/02_security_404.txt |
| Приватность S3 | Прямой GET к RustFS без авторизации | HTTP/1.1 403 Forbidden |
evidence/02_security_404.txt |
| Отказ реплики (Failover) | Остановка одной API-реплики, скачивание через живую | Успешное скачивание, файл не потерян | evidence/03_failover_persistence.txt |
| Сохранность (Persistence) | docker compose restart, проверка старым токеном |
Токен и файл в S3 выжили | evidence/03_failover_persistence.txt |
| Нет локальных файлов | ls /app внутри контейнера API |
Только app.py и requirements.txt |
evidence/04_no_local_files.txt |
3. Трек 2: Согласованность двух хранилищ
Гипотеза: Если между записью в S3 и БД произойдёт сбой, в S3 останутся «файлы-сироты» (orphans), которые занимают место.
Методика:
Разработан скрипт scripts/reconcile.py. Он сканирует бакет S3 и таблицу attachments в PostgreSQL.
- Orphans: файлы в S3, которых нет в БД (удаляются с grace period).
- Missing: файлы в БД, которых нет в S3 (выводятся как ошибки).
- Grace period: защищает только что загруженные файлы от удаления (в демо
GRACE_HOURS=0, в production 1 час).
Результаты (из evidence/05_track2_reconcile.txt):
- Загружен файл
orphan-test-fileнапрямую в S3 (минуя API). reconcile.py(Dry-run) обнаружил сироту, но не удалил (так как сработал grace period).reconcile.py --fixбезопасно удалил файл из S3.- Повторный прямой GET подтвердил, что файл удалён (
403 Forbidden).
4. Ограничения
- Тестирование проводилось на одном физическом хосте (Docker Desktop).
- Используется один узел Docker Compose. Высокая доступность (HA) самого S3-хранилища и БД не гарантируется.
- RustFS не поддерживает стандартные ACL AWS, поэтому приватность обеспечена отсутствием публичных политик (доступ только по ключам).