8.4 KiB
Отчёт — лабораторная 4
- Автор, группа: Гусак Дмитрий, БПИ2303
- Целевая оценка: 4; трек 5 не заявлен
- Commit/PR: заполню после публикации форка
- Источники: документация Docker Compose, MinIO S3, Spring Boot и Java ImageIO; ИИ использовался для разбора контракта, проектирования и проверки реализации.
Запуск из чистого clone
Требуется Docker Desktop с Compose. Для запуска из чистого clone:
cp .env.example .env
openssl rand -base64 32 | tr '+/' '-_' | tr -d '='
# вставить результат в CURSOR_SECRET; задать локальные S3_* credentials
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
curl -i http://localhost:${APP_PORT:-8080}/health/ready
make check
make validate PYTHON=.venv/bin/python
make test
make test-grade4
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Сервисы: lb, api x2, migrate, postgres, redis, minio, s3-bootstrap. API-порты наружу не публикуются; наружу опубликован только HAProxy. s3-bootstrap создаёт приватный bucket, пользователя и ограниченную policy. Остановка без удаления данных: docker compose --env-file .env down; намеренное удаление учебных volumes: docker compose --env-file .env down -v. Секреты в отчёт не помещаются.
Архитектура и решения
Схема стенда:
Клиент → HAProxy → api-1/api-2 → PostgreSQL (метаданные) и Redis (сессии)
↘ MinIO (байты вложений)
Перенесены все обязательные возможности lab3: две реплики, балансировка, X-Instance-Id, общие сессии Redis, идемпотентность сообщений, Flyway, failover и graceful shutdown. В lab4 добавлены MinIO, V3-миграция, таблицы attachments/message_attachments, upload/download и attachment_ids в сообщении.
PostgreSQL является источником истины для метаданных и связей. MinIO хранит только оригинальные байты в приватном bucket. Object key генерируется сервером как original/<uuid>; filename используется только как отображаемое имя. Upload ограниченно копирует поток во временный файл, проверяет Content-Type, magic bytes, декодирование ImageIO, размер до 10 MiB и до 40 млн пикселей, затем выполняет S3 PUT и вставку метаданных. При ошибке вставки выполняется best-effort компенсационный DELETE. Для редких orphan-объектов предусмотрена ручная сверка после grace period: удалять можно только объекты, отсутствующие в PostgreSQL старше 24 часов; свежие объекты не трогать.
API использует отдельного MinIO-пользователя с ListBucket/GetBucketLocation/GetObject/PutObject/DeleteObject только для messenger-attachments; root доступ используется только bootstrap-контейнером. Консоль MinIO не опубликована.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Контракт | make check |
PASS | вывод команды |
| OpenAPI | make validate PYTHON=.venv/bin/python |
PASS | вывод команды |
| Публичный smoke | make test BASE_URL=http://localhost:8083 |
PASS: lab4 public API scenario | вывод команды |
| Upload/download | make test |
PNG сохранён и скачан побайтно, checksum совпал | вывод команды |
| Уровень 4 | make test-grade4 BASE_URL=http://localhost:8083 |
PASS: лимиты, повреждённый файл, MIME spoofing, чужой attachment и другой чат | вывод команды |
| Память upload | make test-upload-memory BASE_URL=http://localhost:8083 |
10/10 одновременных upload, peak API 382.80 MiB | evidence/upload-memory.json |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8083 |
PASS: данные, сессия и вложение сохранены | вывод команды |
| Failover | make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8083 |
PASS: 2 реплики, 126 успешных записей, 0 ошибок, восстановление 0.708 с; attachment скачан после отказа | вывод команды |
| Rolling update | make test-rolling BASE_URL=http://localhost:8083 |
PASS под нагрузкой | evidence/rolling-load.json |
Проверки запускались через HAProxy; API-реплики не имели опубликованных host-портов. Секреты и токены в evidence и отчёт не записывались.
Эксперименты и отказы
Функциональная проверка выполнена на локальном стенде: Java 21/Spring Boot, PostgreSQL 16.4, Redis 7.4.2, MinIO и две API-реплики. Публичный smoke прошёл; отдельный grade4-тест проверил успешный upload/download и негативные сценарии. Эксперимент make test-upload-memory выполнил 10 одновременных upload: 10/10 успешны, измеренный пик API составил 382.80 MiB при лимите 512 MiB. Upload выполнялся потоково во временный файл, поэтому размер request body ограничивается до декодирования изображения. Сборка Java: ./gradlew --no-daemon --console=plain build — BUILD SUCCESSFUL.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| S3 недоступен до API | API не должен считать вложение ready | S3Storage возвращает контролируемый 503; bucket bootstrap выполняется до API | данные не подтверждаются без S3 PUT |
| Ошибка DB после S3 PUT | Не оставить бесконечный orphan | выполняется best-effort DELETE; ручная сверка удаляет только объекты старше 24 часов без метаданных | свежие объекты защищены grace period |
| Чужой пользователь/чат | 404 без раскрытия объекта | проверено grade4-тестом | данные не раскрываются |
| 10 MiB+, повреждённый или spoofed MIME | 413/415, не 500 | проверено grade4-тестом | объект не создаётся |
Ограничения и следующие шаги
Стенд выдерживает отказ одной API-реплики и restart с сохранением PostgreSQL, Redis и S3 volumes при запуске полного Compose. MinIO, PostgreSQL и HAProxy остаются одиночными компонентами одного Docker-хоста; отказ самого узла и TLS не заявляются. Уровень 5 и presigned upload не реализованы. Сверка orphan-объектов документирована как безопасная ручная процедура с grace period, но не является отдельным фоновым worker. Это учебное ограничение, необходимое для уровня 4.