forked from mtusi2026/mtusi2026lab4
63 lines
4.9 KiB
Markdown
63 lines
4.9 KiB
Markdown
## Лабораторная 4: S3-хранилище и вложения
|
||
|
||
Автор / группа: **Каменский Андрей, БПИ2301**.
|
||
Целевая оценка: **5**. Трек **2 — согласованность двух хранилищ**.
|
||
|
||
### Реализация
|
||
|
||
Обязательная основа приложения: PostgreSQL, Redis-сессии с TTL/AOF, два API за HAProxy, контракт
|
||
авторизации, пагинация и общая идемпотентность. Добавлены приватный MinIO,
|
||
метаданные Attachment, до 10 вложений в сообщении, raw PNG/JPEG upload и
|
||
авторизованный побайтный download. Проверяются размер до 10 MiB, MIME по содержимому,
|
||
целостность, безопасный filename и не более 40 млн пикселей включительно.
|
||
|
||
Миграции до 008 и bootstrap запускаются отдельными задачами. Две декларативные
|
||
S3-политики хранятся в infra/s3 и копируются в Docker-образ. API и reconciler
|
||
получают разные ограниченные S3-права; owner credentials отсутствуют в API.
|
||
Публикуется только LB, консоль MinIO выключена. MinIO собирается из закреплённого
|
||
исходного commit, поэтому отсутствующий готовый образ не блокирует сборку.
|
||
|
||
Перед PUT отдельно коммитится журнал pending. Advisory lock на ключ удерживается
|
||
до общего COMMIT Attachment/committed. Worker сверяет наш bucket/prefix постранично,
|
||
пропускает активные и свежие файлы, закрывает зависшие попытки и удаляет orphan.
|
||
Dry-run не меняет БД/S3. Missing-оригиналы отмечаются с сохранением сообщений;
|
||
восстановление подтверждается размером и SHA-256. Ошибка DELETE не исключает
|
||
объект из дальнейшей очистки.
|
||
|
||
### Запуск и проверки
|
||
|
||
```sh
|
||
python3 scripts/setup-env.py
|
||
docker compose up -d --build --wait
|
||
python3 -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements-student.txt
|
||
make -f student.mk verify-lab4 PYTHON=.venv/bin/python
|
||
```
|
||
|
||
Инфраструктурные проверки выполняются последовательно на локальном учебном стенде.
|
||
Сохранность проверяется с прежним токеном и доказательствами StartedAt до/после API,
|
||
PostgreSQL, Redis и MinIO. Чистый запуск использует отдельный UUID-проект, пустые
|
||
volumes и полный снимок исходников, включая новые файлы; API строится с --no-cache.
|
||
|
||
Сводка: `evidence/lab4-final-summary.json`; подробный вывод —
|
||
`evidence/lab4-final-*.txt`, чистый старт — `evidence/lab4-clean-start.json`.
|
||
Отчёт и методика: [REPORT.md](STUDENT_REPORT.md),
|
||
[LAB4_RECONCILIATION.md](LAB4_RECONCILIATION.md).
|
||
|
||
### Ограничения
|
||
|
||
Нет автоматического восстановления потерянных байтов из backup. Поддерживается
|
||
неверсионируемый bucket и штатные писатели, соблюдающие блокировки. Хранилища,
|
||
LB и host остаются едиными точками отказа. Последовательный обход имеет линейную
|
||
стоимость; локальные измерения не задают production SLA. Журнал/наблюдения сохраняют
|
||
историю без автоматического сокращения. Применение любых исправлений перепроверяет
|
||
состояние, а не слепо выполняет ранее выведенный план dry-run.
|
||
|
||
- [x] Обязательное API lab4 и прежние возможности сохранены.
|
||
- [x] Оригинал, ACL, failover и restart проверены.
|
||
- [x] Негативные случаи и замечания преподавателя покрыты проверками.
|
||
- [x] Ограниченные S3-роли и приватность bucket проверены реальными запросами.
|
||
- [x] Трек 2 имеет гипотезу, сценарии сбоев, повторяемые измерения и ограничения.
|
||
- [x] Секреты не входят в исходники сдачи; .env создаётся локально.
|
||
- [x] Использование Codex и первичные источники указаны в REPORT.md.
|