5.8 KiB
Отчёт — лабораторная 4
- Автор, группа: Гуреев Дмитрий, БПИ2301
- Целевая оценка: 4
- PR: **
- Источники и ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
Запуск из чистого clone
- Скопировать
compose.example.yamlвdocker-compose.yml, заполнить локальный.env(секреты не вставлять в репозиторий). docker compose --env-file .env up -d --build— поднимает PostgreSQL, Redis, MinIO, nginx и 3 реплики API; применяет миграции Flyway.- Дождаться
/health/readyна всех репликах API. make test BASE_URL=http://localhost:8080— публичный smoke-сценарий.- Остановка:
docker compose down. Удаление учебных данных:docker compose down -v(удаляет volumes с БД, MinIO, Redis).
Архитектура и решения
Клиент → nginx LB → API × 3 → PostgreSQL (метаданные) + MinIO (байты в приватном bucket). Перенесено из lab3: пользователи, чаты, сообщения, пагинация, сессии, идемпотентность. Изменено в lab4: метаданные вложений (таблица attachments, связь message_attachments), endpoint загрузки/скачивания вложений, S3-хранение байтов, стриминговый валидатор изображений, реконсилер «осиротевших» объектов. Переменные из .env соответствуют префиксам app.s3.*, SPRING_DATASOURCE_*, SESSION_TTL_SECONDS.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test BASE_URL=http://localhost:8080 |
PASS: lab4 public API scenario |
tests/smoke.py |
| Уровень 3: POST вложения 201 ready, download побайтно, message с attachment_ids | smoke-сценарий | Вложение загружается со статусом ready, скачивается с совпадающим SHA-256 | tests/smoke.py, AttachmentService.java |
| Уровень 3: PNG/JPEG ≤10 MiB, MIME по содержимому, filename валидация | ImageUploadValidator | 400 на недопустимый MIME, размер >10 MiB, опасное имя файла | Lido/src/main/java/org/example/config/ImageUploadValidator.java |
| Уровень 4: тесты на большой файл, повреждённый, подмену MIME, чужой attachment_id, другой чат; без 500 | tests/smoke.py (Lab 4 блок) | 400 на все пользовательские ошибки, нет 500 | tests/smoke.py |
| Уровень 4: реконсилер с grace period, не оставляет вечных объектов | Scheduled метод reconcileOrphanedObjects, интервал 5 мин, grace 1 час | Сверка объектов S3 с БД, удаление только старых «осирот» | AttachmentService.java, S3StorageService.java |
| Уровень 4: стриминг, лимиты RAM, эксперимент ≥10 загрузок | tests/memory_experiment.py | 12/12 загрузок успешно, пик RAM не растёт | tests/memory_experiment.py |
| Уровень 4: bucket bootstrap идемпотентен, отдельные credentials, приватный bucket | scripts/minio-init.sh, mc anonymous set none | bucket приватный, политики и пользователь создаются идемпотентно ( | |
| Уровень 4: проверка приватного bucket вне API | mc anonymous set none, прямой S3 GET без токена 403 | Direct unauthenticated S3 GET не отдаёт объект | scripts/minio-init.sh |
Эксперименты и отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| 12 одновременных загрузок вложений | Все успешно, RAM не растёт неограниченно | 12/12 успешно, пик RAM ≈ baseline (стриминг во временный файл) | — |
| Сбой записи S3/БД между шагами upload | Реконсилер удаляет объект после grace period | Объект остаётся до истечения grace 1 час, затем удаляется реконсилером | — |
Ограничения и следующие шаги
API выдерживает отказ одной реплики (остальные обслуживают), MinIO bucket приватный, Direct S3 GET без авторизации недоступен. Не реализовано: отдельный presigned-upload flow (трек 5), полноценный HTTP-реконсилер с dry-run, отдельные S3 credentials с ограниченными правами (в текущем стенде используются root-credentials MinIO, السياسة документирована в scripts/minio-init.sh). Образовательное упрощение: S3-credentials задаются через .env, MinIO консоль (9001) не экспонируется наружу.