23 KiB
Отчёт — лабораторная 4
- Автор, группа: Кучерявенко Максим, БВТ2303
- Целевая оценка: 4. Уровень 3 сохранён; исследовательский трек 5 не заявлен.
- Commit/PR: после просмотра и публикации.
- Основа: собственный lab3; структура конфигураций, controllers → services → repositories. Для S3 используется AWS SDK for Kotlin 1.6.41; изображения проверяет JDK ImageIO. ИИ использован как парный разработчик.
- Источники: AWS SDK for Kotlin, релиз MinIO, ImageReader, S3 uploads.
Запуск из чистого clone
Нужны Docker с Compose v2, Python 3.9+, openssl. Для JVM-тестов нужны JDK 21+ и Docker (Testcontainers самостоятельно поднимает PostgreSQL, Redis и MinIO).
./scripts/init-secrets.sh
# Если 8080 занят lab3, как при проверке этой работы:
export LAB_HTTP_PORT=8084
export BASE_URL=http://localhost:8084
# Для свободного стандартного порта можно использовать 8080 в обеих переменных.
docker compose config --quiet
docker compose up -d --build --wait
make check
make test
./gradlew test
# Остановка именно реплики, принявшей upload; скрипт сам возвращает её в работу.
python3 scripts/attachment-failover.py
# Проверка lab3: запись сообщений во время отказа, идемпотентность, чтение файла.
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api
# Перезапуск LB, обеих API-реплик, PostgreSQL, Redis и MinIO без удаления volumes.
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Проверки уровня 4:
scripts/check-s3-permissions.sh
python3 scripts/attachment-interrupt.py
python3 scripts/attachment-load.py > evidence/attachment-load.json
# Безопасная остановка, данные сохраняются:
docker compose down
# Только для намеренного удаления всех учебных данных:
# docker compose down -v
Compose собирает общий образ mtusi-messenger:lab4 через api; одноразовый migrate использует тот же образ и применяет Flyway V1–V5 до старта реплик. s3-init ждёт MinIO, создаёт bucket через mc mb --ignore-existing и закрывает анонимный доступ через mc anonymous set none. Повторный запуск сохраняет bucket и объекты. Секреты создаются локально, существующие файлы не перезаписываются; .env, secrets/ и run/development/ не входят в Git.
MinIO RELEASE.2025-09-07T16-13-09Z и mc RELEASE.2025-08-13T08-35-41Z закреплены digest в Compose. PostgreSQL 17.6, Redis 8.4.0, HAProxy 3.2.4 — из lab3. API использует Kotlin 2.3.20, Ktor 3.3.0, JDK 21. Проверено на macOS arm64 с Docker 28.4.0. MinIO S3 и console не публикуются на host; наружу доступен только LB на loopback.
Настройки
.env необязателен. В Compose есть значения по умолчанию; docker compose --env-file .env.example config --quiet также проходит. Переменные из skeleton сопоставлены так:
API_REPLICAS,SESSION_TTL_SECONDS,IDEMPOTENCY_TTL_SECONDS,S3_BUCKETиспользуются в Compose. ДополнительноLAB_HTTP_PORTзадаёт опубликованный порт LB.S3_ENDPOINT=http://s3:9000,S3_ACCESS_KEY_ID_FILE,S3_SECRET_ACCESS_KEY_FILEявно передаются API в Compose; в локальном JVM-процессе читаются из environment или HOCONstorage.S3_REGION=us-east-1закреплён в SDK.MAX_UPLOAD_BYTES=10485760иMAX_IMAGE_PIXELS=40000000закреплены в валидаторе по обязательному контракту; переменными окружения не увеличиваются.- Вместо предложенных skeleton
DATABASE_URL_FILEиCACHE_URL_FILEиспользуютсяDB_HOST/PORT/NAME/USER/PASSWORD_FILEиREDIS_HOST/PORT/PASSWORD_FILE. PostgreSQL всегда источник истины для сессий;SESSION_STOREне переключает реализацию.APP_ENVне используется. APP_HOST/PORTзадаются внутри Compose, порт приложения — 8080.LAB_HTTP_PORTменяет только внешний порт.
Для отдельного ./gradlew run задача создаёт недостающие файлы run/development/config из _template, сохраняя существующие настройки. Нужно настроить доступные локальному JVM PostgreSQL, Redis и S3; изолированные адреса Compose с host не доступны. Полностью воспроизводимый путь проверки выше использует Compose.
Архитектура и решения
Клиент → HAProxy → две Ktor API-реплики → PostgreSQL (метаданные, связи, сессии) и MinIO (байты). Redis остаётся кэшем сессий с fallback в PostgreSQL. API-реплики взаимозаменяемы, sticky sessions нет.
attachments содержит ID, chat_id, owner_id, отображаемое имя, MIME, размер, SHA-256 и время создания. message_attachments хранит порядок вложений сообщения, уникальность и внешние ключи. S3 key — originals/<server-generated UUID>; filename никогда не используется как путь. В API нет ключей S3 и credentials. В lab4 все опубликованные метаданные уже ready, updated_at равен created_at, variants=[], error_code=null.
Upload: Bearer-аутентификация → проверка членства → filename/MIME/размер → ограниченное чтение тела → проверка изображения → COMMIT записи журнала → S3 PUT → INSERT метаданных и удаление записи журнала в одной транзакции → 201. Нет долгой DB-транзакции во время HTTP upload или S3 PUT. Оригинальные bytes не перекодируются. Download: аутентификация → доступ через chat_id в PostgreSQL → S3 GET → bytes с истинным MIME через API без redirect. Посторонний и неизвестный ID получают одинаковый 404.
Сообщение допускает пустой текст с 1–10 уникальными вложениями этого чата. Член чата может прикрепить загруженный другим участником файл. Создание сообщения, связей и результата Idempotency-Key выполняется в одной транзакции. Отсутствующий attachment_ids и [] равнозначны; повтор возвращает тот же Message. Hash дополнен вложениями, при replay дополнительно сравниваются исходный текст и список ID. Старые текстовые ключи lab3 остаются пригодны для replay. Сохраняются keyset-пагинация, отзыв сессий между репликами и graceful shutdown.
Ограничения входных данных
- Тело читается из канала порциями до 8192 bytes, с проверкой лимита до записи во временный файл. Превышение Content-Length отсекается сразу; при отсутствии длины применяется тот же счётчик bytes. Максимум — 10 MiB, превышение — 413; приём тела ограничен 15 секундами.
- ImageIO определяет реальный формат, допускаются PNG/JPEG и совпадение MIME. Размеры считываются из заголовка до
reader.read; произведение считается в Long, более 40 млн пикселей — 413. - Затем выполняется полное декодирование, чтобы одного корректного заголовка было недостаточно. Ошибки/предупреждения декодера — 415. Для PNG дополнительно проверяются границы chunks, CRC и IEND, для JPEG — завершающий EOI.
- Filename: 1–255 Unicode code points;
/,\, NUL и управляющие символы — 400. - Приём HTTP и S3 PUT потоковые: тело поступает в уникальный временный файл, AWS SDK читает его через
asByteStream().finallyудаляет файл при успехе, ошибке и отмене. В Compose/tmp— tmpfs 32 MiB, очищаемый при restart; это не постоянное хранилище оригиналов. Семафор допускает одну загрузку на реплику, остальные ждут без собственного буфера файла. Валидация всё ещё использует ограниченный массив ≤10 MiB и raster ≤40 млн пикселей; это честная граница потоковой обработки, а не обещание zero-copy. API ограничен 1 GiB и 1 CPU. У download также есть предел 10 MiB. - S3-вызов ограничен coroutine timeout в 8 с, включая получение тела ответа. HAProxy server timeout увеличен до 30 с для синхронной загрузки. Автоматическое повторение POST после передачи запроса не включается.
Доказательства критериев
Проверки выполнены 05.11.2026, через http://localhost:8084. Ниже актуальные результаты lab4; материалы в archive/lab3 исторические.
| Критерий | Команда/сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| Контракт, 201 ready, checksum, сообщение с вложением, ACL | make test |
PASS публичного сценария lab4 | smoke.txt |
| Возможности lab3 и новые проверки | ./gradlew test |
76 тестов, 0 failures/errors/skipped | gradle-tests.txt |
| PNG/JPEG, MIME, опасное имя, лимиты bytes/pixels до декодирования | AttachmentControllerTest, ImageValidatorTest | Оба формата скачиваются побайтно; 400/413/415 на неверный ввод | gradle-tests.txt |
| Приватное S3, чужой чат, отказ именно загрузившей реплики | python3 scripts/attachment-failover.py |
403 для anonymous S3 GET известного объекта; 404 постороннему; иной X-Instance-Id и те же bytes после отказа | attachment-failover.txt |
| Сохранность после restart всех компонентов | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS, прежняя сессия, метаданные и оригинал доступны; StartedAt всех процессов изменился | persistence.txt |
| Запись сообщений во время отказа API | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
Проверка восстановления записи, отсутствия дублей и сохранности данных | failover.txt |
| Недоступность S3 | AttachmentControllerTest: pause MinIO | Upload/content/ready → 503, live → 200; после unpause исходные bytes доступны | gradle-tests.txt |
| Негативные запросы уровня 4 | AttachmentControllerTest | 413 для большого файла, 415 для повреждения/MIME, 404 для чужого ID и другого чата | gradle-tests.txt |
| Сбой между S3 и БД, grace и повторная очистка | AttachmentCleanupTest | Свежие/готовые объекты сохранены, orphan и поздний PUT удалены, публикация abandoned запрещена | gradle-tests.txt |
| Обрыв клиента | python3 scripts/attachment-interrupt.py |
Нет опубликованных метаданных и временных файлов после закрытия соединения | attachment-interrupt.txt |
| 10 одновременных загрузок, память | python3 scripts/attachment-load.py |
10 успешных upload/download, sampled peak ниже лимита реплик | attachment-load.json |
| Отдельные права и повторяемый bootstrap | scripts/check-s3-permissions.sh |
Запрещённые операции отклонены, console недоступна из общей сети | s3-permissions.txt |
Согласованность и очистка уровня 4
Миграция V5 добавляет attachment_uploads. Перед S3 PUT в PostgreSQL фиксируется ID будущего объекта и срок действия (время БД + 1 час). После PUT публикация берёт строку FOR UPDATE, проверяет срок и отсутствие признака abandoned, затем атомарно создаёт Attachment и удаляет запись журнала. Поэтому подтверждённый объект не попадает в очистку.
Каждая реплика раз в 30 секунд выбирает до 100 просроченных записей через FOR UPDATE SKIP LOCKED, помечает их abandoned и переносит следующую попытку на минуту вперёд. После COMMIT, без долгой DB-транзакции, удаляет соответствующие S3-объекты. Ошибка S3 оставляет запись для повтора. Публикация и очистка сериализуются блокировкой одной строки: либо метаданные опубликованы, либо загрузка окончательно abandoned.
Записи abandoned сохраняются и периодически обрабатываются повторно даже после успешного DELETE. Это намеренно: процесс, замороженный дольше grace period, может поздно закончить PUT. Опубликовать метаданные он уже не сможет, а повторная очистка удалит поздний объект. Без сохранения такой записи первая уборка могла бы пропустить позднюю запись навсегда. Плата — рост журнала неудачных загрузок и повторные DELETE отсутствующих объектов; политика удаления tombstone требует отдельного ограничения максимального времени жизни загрузчика. Успешные загрузки строки журнала не накапливают.
Тест AttachmentCleanupTest воспроизводит сбой после фактического PUT до записи метаданных, сохраняет свежий объект внутри grace, сдвигает срок записи для проверки уборки без часового ожидания, моделирует отказ DELETE и повтор, поздний PUT и отказ публикации. Подтверждённый объект остаётся доступен. Глобального обхода всего bucket и восстановления вручную удалённых объектов нет — это отдельный исследовательский трек 5.
S3-права
secrets/s3_access_key_id и s3_secret_access_key используются только MinIO и bootstrap. API получает отдельные s3_api_access_key_id и s3_api_secret_access_key, административные файлы в него не монтируются. Прикладная policy разрешает ListBucket для рабочего bucket (нужен HeadBucket/readiness) и только Get/Put/DeleteObject для originals/*. API не может управлять пользователями, политиками, создавать buckets или записывать другие prefixes. Console слушает только 127.0.0.1:9001 внутри контейнера MinIO, поэтому недоступна даже из общей сети Compose.
Bootstrap повторно создаёт/обновляет пользователя и policy с теми же локальными credentials и не трогает объекты. check-s3-permissions.sh запускает bootstrap дважды и проверяет реальные отказы запрещённых операций. Анонимный GET известного существующего объекта отдельно получает 403 в attachment-failover.py.
Эксперимент с параллельными загрузками
attachment-load.py синхронно выпускает 10 клиентов через Barrier. Каждый отправляет реальный PNG 1600×1600, 7 684 003 bytes (псевдослучайные RGB-пиксели, seed 42), затем скачивает оригинал вторым участником и проверяет SHA-256. Профиль — один burst без повторов, две API-реплики, по одной активной обработке на реплику; очередь включена во время HTTP-ответа. Docker 28.4.0, macOS arm64, лимиты каждой API: 1 CPU / 1 GiB. Это функциональная проверка ограничения памяти, не определение предельного throughput.
Память измеряется через memory.current cgroup v2 каждой API, с паузой 0,2 с между обходами (плюс время docker exec). Включает JVM/native и tmpfs, не только heap. Замер дискретный, поэтому краткие пики между отсчётами могут быть пропущены. Raw-отсчёты, исходные значения и результаты всех запросов: attachment-load.json.
Все 10 upload вернули 201, все 10 download совпали по SHA-256. Наблюдаемые пики по репликам: 335579ab19d6: 282.4 MiB, a8ee56f6ec22: 259.0 MiB. Время upload с ожиданием очереди — от 1.030 до 2.973 с; ошибок не было.
Ограничения
201 подтверждается только после успешных S3 PUT и COMMIT PostgreSQL. Между этими хранилищами нет общей транзакции. При падении после PUT, до COMMIT, возможен объект без метаданных. Такой объект учтён в журнале и удаляется после grace period описанным выше механизмом. При потере ответа upload его повтор может создать ещё одно вложение, как разрешено контрактом.
Вход и S3 PUT ограничены по bytes и времени; валидация допускает до 40 млн пикселей и только один декодер на реплику. Проведённый burst не доказывает работу при любом количестве соединений, любой комбинации размеров и намеренном истощении ресурсов. Очередь не обещает фиксированное время ответа при перегрузке; HAProxy сохраняет свои таймауты. Случайные orphan-объекты, созданные вручную или прежней версией до журнала V5, автоматическая очистка журнала не обнаруживает.
Readiness требует PostgreSQL и S3, Redis допускает fallback. При отказе S3 HAProxy выведет обе реплики из ротации; LB может вернуть собственный 503 вместо JSON API. Прямые обращения к API при отказе S3 проверены тестом. Одноузловые PostgreSQL, MinIO и LB остаются точками отказа: volumes переживают restart, но не заменяют репликацию и backup. Сохраняются ограничения конкурентной keyset-пагинации и часов из отчёта lab3.