14 KiB
Отчёт — лабораторная 4
- Автор, группа: Кучерявенко Максим, БВТ2303
- Целевая оценка: 3. Критерии 4/5 не заявлены.
- Commit/PR: после просмотра и публикации.
- Основа: собственный lab3; структура конфигураций, controllers → services → repositories. Для S3 используется AWS SDK for Kotlin 1.6.41; изображения проверяет JDK ImageIO. ИИ использован как парный разработчик.
- Источники: AWS SDK for Kotlin, релиз MinIO, ImageReader, S3 uploads.
Запуск из чистого clone
Нужны Docker с Compose v2, Python 3.9+, openssl. Для JVM-тестов нужны JDK 21+ и Docker (Testcontainers самостоятельно поднимает PostgreSQL, Redis и MinIO).
./scripts/init-secrets.sh
# Если 8080 занят lab3, как при проверке этой работы:
export LAB_HTTP_PORT=8084
export BASE_URL=http://localhost:8084
# Для свободного стандартного порта можно использовать 8080 в обеих переменных.
docker compose config --quiet
docker compose up -d --build --wait
make check
make test
./gradlew test
# Остановка именно реплики, принявшей upload; скрипт сам возвращает её в работу.
python3 scripts/attachment-failover.py
# Проверка lab3: запись сообщений во время отказа, идемпотентность, чтение файла.
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api
# Перезапуск LB, обеих API-реплик, PostgreSQL, Redis и MinIO без удаления volumes.
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Безопасная остановка, данные сохраняются:
docker compose down
# Только для намеренного удаления всех учебных данных:
# docker compose down -v
Compose собирает общий образ mtusi-messenger:lab4 через api; одноразовый migrate использует тот же образ и применяет Flyway V1–V4 до старта реплик. s3-init ждёт MinIO, создаёт bucket через mc mb --ignore-existing и закрывает анонимный доступ через mc anonymous set none. Повторный запуск сохраняет bucket и объекты. Секреты создаются локально, существующие файлы не перезаписываются; .env, secrets/ и run/development/ не входят в Git.
MinIO RELEASE.2025-09-07T16-13-09Z и mc RELEASE.2025-08-13T08-35-41Z закреплены digest в Compose. PostgreSQL 17.6, Redis 8.4.0, HAProxy 3.2.4 — из lab3. API использует Kotlin 2.3.20, Ktor 3.3.0, JDK 21. Проверено на macOS arm64 с Docker 28.4.0. MinIO S3 и console не публикуются на host; наружу доступен только LB на loopback.
Настройки
.env необязателен. В Compose есть значения по умолчанию; docker compose --env-file .env.example config --quiet также проходит. Переменные из skeleton сопоставлены так:
API_REPLICAS,SESSION_TTL_SECONDS,IDEMPOTENCY_TTL_SECONDS,S3_BUCKETиспользуются в Compose. ДополнительноLAB_HTTP_PORTзадаёт опубликованный порт LB.S3_ENDPOINT=http://s3:9000,S3_ACCESS_KEY_ID_FILE,S3_SECRET_ACCESS_KEY_FILEявно передаются API в Compose; в локальном JVM-процессе читаются из environment или HOCONstorage.S3_REGION=us-east-1закреплён в SDK.MAX_UPLOAD_BYTES=10485760иMAX_IMAGE_PIXELS=40000000закреплены в валидаторе по обязательному контракту; переменными окружения не увеличиваются.- Вместо предложенных skeleton
DATABASE_URL_FILEиCACHE_URL_FILEиспользуютсяDB_HOST/PORT/NAME/USER/PASSWORD_FILEиREDIS_HOST/PORT/PASSWORD_FILE. PostgreSQL всегда источник истины для сессий;SESSION_STOREне переключает реализацию.APP_ENVне используется. APP_HOST/PORTзадаются внутри Compose, порт приложения — 8080.LAB_HTTP_PORTменяет только внешний порт.
Для отдельного ./gradlew run задача создаёт недостающие файлы run/development/config из _template, сохраняя существующие настройки. Нужно настроить доступные локальному JVM PostgreSQL, Redis и S3; изолированные адреса Compose с host не доступны. Полностью воспроизводимый путь проверки выше использует Compose.
Архитектура и решения
Клиент → HAProxy → две Ktor API-реплики → PostgreSQL (метаданные, связи, сессии) и MinIO (байты). Redis остаётся кэшем сессий с fallback в PostgreSQL. API-реплики взаимозаменяемы, sticky sessions нет.
attachments содержит ID, chat_id, owner_id, отображаемое имя, MIME, размер, SHA-256 и время создания. message_attachments хранит порядок вложений сообщения, уникальность и внешние ключи. S3 key — originals/<server-generated UUID>; filename никогда не используется как путь. В API нет ключей S3 и credentials. В lab4 все опубликованные метаданные уже ready, updated_at равен created_at, variants=[], error_code=null.
Upload: Bearer-аутентификация → проверка членства → filename/MIME/размер → ограниченное чтение тела → проверка изображения → S3 PUT → INSERT/COMMIT метаданных → 201. Нет долгой DB-транзакции во время HTTP upload или S3 PUT. Оригинальные bytes не перекодируются. Download: аутентификация → доступ через chat_id в PostgreSQL → S3 GET → bytes с истинным MIME через API без redirect. Посторонний и неизвестный ID получают одинаковый 404.
Сообщение допускает пустой текст с 1–10 уникальными вложениями этого чата. Член чата может прикрепить загруженный другим участником файл. Создание сообщения, связей и результата Idempotency-Key выполняется в одной транзакции. Отсутствующий attachment_ids и [] равнозначны; повтор возвращает тот же Message. Hash дополнен вложениями, при replay дополнительно сравниваются исходный текст и список ID. Старые текстовые ключи lab3 остаются пригодны для replay. Сохраняются keyset-пагинация, отзыв сессий между репликами и graceful shutdown.
Ограничения входных данных
- Тело читается из канала порциями до 8192 bytes, с проверкой лимита до добавления в буфер. Превышение Content-Length отсекается сразу; при отсутствии длины применяется тот же счётчик bytes. Максимум — 10 MiB, превышение — 413; приём тела ограничен 15 секундами.
- ImageIO определяет реальный формат, допускаются PNG/JPEG и совпадение MIME. Размеры считываются из заголовка до
reader.read; произведение считается в Long, более 40 млн пикселей — 413. - Затем выполняется полное декодирование, чтобы одного корректного заголовка было недостаточно. Ошибки/предупреждения декодера — 415. Для PNG дополнительно проверяются границы chunks, CRC и IEND, для JPEG — завершающий EOI.
- Filename: 1–255 Unicode code points;
/,\, NUL и управляющие символы — 400. - Временные файлы в API не создаются: ограниченный массив оригинала и декодированный raster находятся в RAM. ImageIO использует MemoryCacheImageInputStream. У download также есть предел 10 MiB.
- S3-вызов ограничен coroutine timeout в 8 с, включая получение тела ответа. HAProxy server timeout увеличен до 30 с для синхронной загрузки. Автоматическое повторение POST после передачи запроса не включается.
Доказательства критериев
Проверки выполнены 05.11.2026, через http://localhost:8084. Ниже актуальные результаты lab4; материалы в archive/lab3 исторические.
| Критерий | Команда/сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| Контракт, 201 ready, checksum, сообщение с вложением, ACL | make test |
PASS публичного сценария lab4 | smoke.txt |
| Возможности lab3 и новые проверки | ./gradlew test |
75 тестов, 0 failures/errors/skipped | gradle-tests.txt |
| PNG/JPEG, MIME, опасное имя, лимиты bytes/pixels до декодирования | AttachmentControllerTest, ImageValidatorTest | Оба формата скачиваются побайтно; 400/413/415 на неверный ввод | gradle-tests.txt |
| Приватное S3, чужой чат, отказ именно загрузившей реплики | python3 scripts/attachment-failover.py |
403 для anonymous S3 GET известного объекта; 404 постороннему; иной X-Instance-Id и те же bytes после отказа | attachment-failover.txt |
| Сохранность после restart всех компонентов | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS, прежняя сессия, метаданные и оригинал доступны; StartedAt всех процессов изменился | persistence.txt |
| Запись сообщений во время отказа API | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
Проверка восстановления записи, отсутствия дублей и сохранности данных | failover.txt |
| Недоступность S3 | AttachmentControllerTest: pause MinIO | Upload/content/ready → 503, live → 200; после unpause исходные bytes доступны | gradle-tests.txt |
Согласованность и ограничения уровня 3
201 подтверждается только после успешных S3 PUT и COMMIT PostgreSQL. Между этими хранилищами нет общей транзакции. При падении после PUT, до COMMIT, возможен объект без метаданных. Автоматическая сверка/очистка таких объектов и безопасная компенсация пока не реализованы — это следующий этап на 4. При потере ответа upload его повтор может создать ещё одно вложение, как разрешено контрактом.
На 3 API использует те же локальные S3 credentials, что и bootstrap; отдельная учётная запись с ограниченной policy ещё не реализована. Bucket приватен, порты S3/console наружу не опубликованы. Это локальный учебный стенд, не production hardening.
Память одной загрузки ограничена размером bytes и raster до 40 млн пикселей; потоковой обработки до S3, ограничения числа одновременно декодируемых изображений и эксперимента на ≥10 параллельных загрузках пока нет. Такие нагрузки могут исчерпать память реплики. Они относятся к следующему этапу, уровень 4 не заявляется.
Readiness требует PostgreSQL и S3, Redis допускает fallback. При отказе S3 HAProxy выведет обе реплики из ротации; LB может вернуть собственный 503 вместо JSON API. Прямые обращения к API при отказе S3 проверены тестом. Одноузловые PostgreSQL, MinIO и LB остаются точками отказа: volumes переживают restart, но не заменяют репликацию и backup. Сохраняются ограничения конкурентной keyset-пагинации и часов из отчёта lab3.