4.9 KiB
Лабораторная 4: S3-хранилище и вложения
Автор / группа: Каменский Андрей, БПИ2301. Целевая оценка: 5. Трек 2 — согласованность двух хранилищ.
Реализация
Обязательная основа приложения: PostgreSQL, Redis-сессии с TTL/AOF, два API за HAProxy, контракт авторизации, пагинация и общая идемпотентность. Добавлены приватный MinIO, метаданные Attachment, до 10 вложений в сообщении, raw PNG/JPEG upload и авторизованный побайтный download. Проверяются размер до 10 MiB, MIME по содержимому, целостность, безопасный filename и не более 40 млн пикселей включительно.
Миграции до 008 и bootstrap запускаются отдельными задачами. Две декларативные S3-политики хранятся в infra/s3 и копируются в Docker-образ. API и reconciler получают разные ограниченные S3-права; owner credentials отсутствуют в API. Публикуется только LB, консоль MinIO выключена. MinIO собирается из закреплённого исходного commit, поэтому отсутствующий готовый образ не блокирует сборку.
Перед PUT отдельно коммитится журнал pending. Advisory lock на ключ удерживается до общего COMMIT Attachment/committed. Worker сверяет наш bucket/prefix постранично, пропускает активные и свежие файлы, закрывает зависшие попытки и удаляет orphan. Dry-run не меняет БД/S3. Missing-оригиналы отмечаются с сохранением сообщений; восстановление подтверждается размером и SHA-256. Ошибка DELETE не исключает объект из дальнейшей очистки.
Запуск и проверки
python3 scripts/setup-env.py
docker compose up -d --build --wait
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-student.txt
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
Инфраструктурные проверки выполняются последовательно на локальном учебном стенде. Сохранность проверяется с прежним токеном и доказательствами StartedAt до/после API, PostgreSQL, Redis и MinIO. Чистый запуск использует отдельный UUID-проект, пустые volumes и полный снимок исходников, включая новые файлы; API строится с --no-cache.
Сводка: evidence/lab4-final-summary.json; подробный вывод —
evidence/lab4-final-*.txt, чистый старт — evidence/lab4-clean-start.json.
Отчёт и методика: REPORT.md,
LAB4_RECONCILIATION.md.
Ограничения
Нет автоматического восстановления потерянных байтов из backup. Поддерживается неверсионируемый bucket и штатные писатели, соблюдающие блокировки. Хранилища, LB и host остаются едиными точками отказа. Последовательный обход имеет линейную стоимость; локальные измерения не задают production SLA. Журнал/наблюдения сохраняют историю без автоматического сокращения. Применение любых исправлений перепроверяет состояние, а не слепо выполняет ранее выведенный план dry-run.
- Обязательное API lab4 и прежние возможности сохранены.
- Оригинал, ACL, failover и restart проверены.
- Негативные случаи и замечания преподавателя покрыты проверками.
- Ограниченные S3-роли и приватность bucket проверены реальными запросами.
- Трек 2 имеет гипотезу, сценарии сбоев, повторяемые измерения и ограничения.
- Секреты не входят в исходники сдачи; .env создаётся локально.
- Использование Codex и первичные источники указаны в REPORT.md.