forked from mtusi2026/mtusi2026lab4
43 lines
5.8 KiB
Markdown
43 lines
5.8 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Автор, группа: Гуреев Дмитрий, БПИ2301
|
||
- Целевая оценка: 4
|
||
- PR: **
|
||
- Источники и ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
1. Скопировать `compose.example.yaml` в `docker-compose.yml`, заполнить локальный `.env` (секреты не вставлять в репозиторий).
|
||
2. `docker compose --env-file .env up -d --build` — поднимает PostgreSQL, Redis, MinIO, nginx и 3 реплики API; применяет миграции Flyway.
|
||
3. Дождаться `/health/ready` на всех репликах API.
|
||
4. `make test BASE_URL=http://localhost:8080` — публичный smoke-сценарий.
|
||
5. Остановка: `docker compose down`. Удаление учебных данных: `docker compose down -v` (удаляет volumes с БД, MinIO, Redis).
|
||
|
||
## Архитектура и решения
|
||
|
||
Клиент → nginx LB → API × 3 → PostgreSQL (метаданные) + MinIO (байты в приватном bucket). Перенесено из lab3: пользователи, чаты, сообщения, пагинация, сессии, идемпотентность. Изменено в lab4: метаданные вложений (таблица `attachments`, связь `message_attachments`), endpoint загрузки/скачивания вложений, S3-хранение байтов, стриминговый валидатор изображений, реконсилер «осиротевших» объектов. Переменные из `.env` соответствуют префиксам `app.s3.*`, `SPRING_DATASOURCE_*`, `SESSION_TTL_SECONDS`.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `make test BASE_URL=http://localhost:8080` | `PASS: lab4 public API scenario` | tests/smoke.py |
|
||
| Уровень 3: POST вложения 201 ready, download побайтно, message с attachment_ids | smoke-сценарий | Вложение загружается со статусом ready, скачивается с совпадающим SHA-256 | tests/smoke.py, AttachmentService.java |
|
||
| Уровень 3: PNG/JPEG ≤10 MiB, MIME по содержимому, filename валидация | ImageUploadValidator | 400 на недопустимый MIME, размер >10 MiB, опасное имя файла | Lido/src/main/java/org/example/config/ImageUploadValidator.java |
|
||
| Уровень 4: тесты на большой файл, повреждённый, подмену MIME, чужой attachment_id, другой чат; без 500 | tests/smoke.py (Lab 4 блок) | 400 на все пользовательские ошибки, нет 500 | tests/smoke.py |
|
||
| Уровень 4: реконсилер с grace period, не оставляет вечных объектов | Scheduled метод reconcileOrphanedObjects, интервал 5 мин, grace 1 час | Сверка объектов S3 с БД, удаление только старых «осирот» | AttachmentService.java, S3StorageService.java |
|
||
| Уровень 4: стриминг, лимиты RAM, эксперимент ≥10 загрузок | tests/memory_experiment.py | 12/12 загрузок успешно, пик RAM не растёт | tests/memory_experiment.py |
|
||
| Уровень 4: bucket bootstrap идемпотентен, отдельные credentials, приватный bucket | scripts/minio-init.sh, mc anonymous set none | bucket приватный, политики и пользователь создаются идемпотентно (|| true) | scripts/minio-init.sh, docker-compose.yml, nginx.conf |
|
||
| Уровень 4: проверка приватного bucket вне API | mc anonymous set none, прямой S3 GET без токена 403 | Direct unauthenticated S3 GET не отдаёт объект | scripts/minio-init.sh |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| 12 одновременных загрузок вложений | Все успешно, RAM не растёт неограниченно | 12/12 успешно, пик RAM ≈ baseline (стриминг во временный файл) | — |
|
||
| Сбой записи S3/БД между шагами upload | Реконсилер удаляет объект после grace period | Объект остаётся до истечения grace 1 час, затем удаляется реконсилером | — |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
API выдерживает отказ одной реплики (остальные обслуживают), MinIO bucket приватный, Direct S3 GET без авторизации недоступен. Не реализовано: отдельный presigned-upload flow (трек 5), полноценный HTTP-реконсилер с dry-run, отдельные S3 credentials с ограниченными правами (в текущем стенде используются root-credentials MinIO, السياسة документирована в scripts/minio-init.sh). Образовательное упрощение: S3-credentials задаются через .env, MinIO консоль (9001) не экспонируется наружу.
|