Files
mtusi2026lab4/REPORT.md
2026-11-13 20:27:25 +03:00

8.4 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Гусак Дмитрий, БПИ2303
  • Целевая оценка: 4; трек 5 не заявлен
  • Commit/PR: заполню после публикации форка
  • Источники: документация Docker Compose, MinIO S3, Spring Boot и Java ImageIO; ИИ использовался для разбора контракта, проектирования и проверки реализации.

Запуск из чистого clone

Требуется Docker Desktop с Compose. Для запуска из чистого clone:

cp .env.example .env
openssl rand -base64 32 | tr '+/' '-_' | tr -d '='
# вставить результат в CURSOR_SECRET; задать локальные S3_* credentials
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
curl -i http://localhost:${APP_PORT:-8080}/health/ready
make check
make validate PYTHON=.venv/bin/python
make test
make test-grade4
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Сервисы: lb, api x2, migrate, postgres, redis, minio, s3-bootstrap. API-порты наружу не публикуются; наружу опубликован только HAProxy. s3-bootstrap создаёт приватный bucket, пользователя и ограниченную policy. Остановка без удаления данных: docker compose --env-file .env down; намеренное удаление учебных volumes: docker compose --env-file .env down -v. Секреты в отчёт не помещаются.

Архитектура и решения

Схема стенда:

Клиент → HAProxy → api-1/api-2 → PostgreSQL (метаданные) и Redis (сессии)
                              ↘ MinIO (байты вложений)

Перенесены все обязательные возможности lab3: две реплики, балансировка, X-Instance-Id, общие сессии Redis, идемпотентность сообщений, Flyway, failover и graceful shutdown. В lab4 добавлены MinIO, V3-миграция, таблицы attachments/message_attachments, upload/download и attachment_ids в сообщении.

PostgreSQL является источником истины для метаданных и связей. MinIO хранит только оригинальные байты в приватном bucket. Object key генерируется сервером как original/<uuid>; filename используется только как отображаемое имя. Upload ограниченно копирует поток во временный файл, проверяет Content-Type, magic bytes, декодирование ImageIO, размер до 10 MiB и до 40 млн пикселей, затем выполняет S3 PUT и вставку метаданных. При ошибке вставки выполняется best-effort компенсационный DELETE. Для редких orphan-объектов предусмотрена ручная сверка после grace period: удалять можно только объекты, отсутствующие в PostgreSQL старше 24 часов; свежие объекты не трогать.

API использует отдельного MinIO-пользователя с ListBucket/GetBucketLocation/GetObject/PutObject/DeleteObject только для messenger-attachments; root доступ используется только bootstrap-контейнером. Консоль MinIO не опубликована.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Контракт make check PASS вывод команды
OpenAPI make validate PYTHON=.venv/bin/python PASS вывод команды
Публичный smoke make test BASE_URL=http://localhost:8083 PASS: lab4 public API scenario вывод команды
Upload/download make test PNG сохранён и скачан побайтно, checksum совпал вывод команды
Уровень 4 make test-grade4 BASE_URL=http://localhost:8083 PASS: лимиты, повреждённый файл, MIME spoofing, чужой attachment и другой чат вывод команды
Память upload make test-upload-memory BASE_URL=http://localhost:8083 10/10 одновременных upload, peak API 382.80 MiB evidence/upload-memory.json
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8083 PASS: данные, сессия и вложение сохранены вывод команды
Failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8083 PASS: 2 реплики, 126 успешных записей, 0 ошибок, восстановление 0.708 с; attachment скачан после отказа вывод команды
Rolling update make test-rolling BASE_URL=http://localhost:8083 PASS под нагрузкой evidence/rolling-load.json

Проверки запускались через HAProxy; API-реплики не имели опубликованных host-портов. Секреты и токены в evidence и отчёт не записывались.

Эксперименты и отказы

Функциональная проверка выполнена на локальном стенде: Java 21/Spring Boot, PostgreSQL 16.4, Redis 7.4.2, MinIO и две API-реплики. Публичный smoke прошёл; отдельный grade4-тест проверил успешный upload/download и негативные сценарии. Эксперимент make test-upload-memory выполнил 10 одновременных upload: 10/10 успешны, измеренный пик API составил 382.80 MiB при лимите 512 MiB. Upload выполнялся потоково во временный файл, поэтому размер request body ограничивается до декодирования изображения. Сборка Java: ./gradlew --no-daemon --console=plain build — BUILD SUCCESSFUL.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
S3 недоступен до API API не должен считать вложение ready S3Storage возвращает контролируемый 503; bucket bootstrap выполняется до API данные не подтверждаются без S3 PUT
Ошибка DB после S3 PUT Не оставить бесконечный orphan выполняется best-effort DELETE; ручная сверка удаляет только объекты старше 24 часов без метаданных свежие объекты защищены grace period
Чужой пользователь/чат 404 без раскрытия объекта проверено grade4-тестом данные не раскрываются
10 MiB+, повреждённый или spoofed MIME 413/415, не 500 проверено grade4-тестом объект не создаётся

Ограничения и следующие шаги

Стенд выдерживает отказ одной API-реплики и restart с сохранением PostgreSQL, Redis и S3 volumes при запуске полного Compose. MinIO, PostgreSQL и HAProxy остаются одиночными компонентами одного Docker-хоста; отказ самого узла и TLS не заявляются. Уровень 5 и presigned upload не реализованы. Сверка orphan-объектов документирована как безопасная ручная процедура с grace period, но не является отдельным фоновым worker. Это учебное ограничение, необходимое для уровня 4.