Files
mtusi2026lab4/REPORT.md
T
ivanstorozhev 524d7d8c75 Закрыть оценку 4: ключ API без Admin, очистка сирот и замер памяти.
Данные ходят ключом Read/Write/List, Admin только создаёт bucket. Объект без строки старше двух минут удаляется. Десять загрузок по 8 МиБ дали пик 581 МиБ при лимите 1024.
2026-11-06 10:26:48 +03:00

14 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: ivanstorozhev, БВТ2304
  • Целевая оценка: 4
  • Трек 5: не выбран
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: контракт contracts/openapi.json 1.4.0 и contracts/README.md; код lab3 (Spring Boot 4.1.1, Spring Data JPA, Liquibase, Redis-кэш сессий, HAProxy, Argon2id, MapStruct, OpenAPI Generator 7.17.0). Новое: AWS SDK for Java 2.31.50 (s3, apache-client), SeaweedFS 4.52 как S3. Помощь ИИ: реализация стенда и отчёта в Cursor.

Запуск из чистого clone

Нужны Docker Desktop (проверено 28.5.1), Docker Compose и Python 3.9+. JDK 21 и Maven 3.9 нужны только для mvn test вне образа.

cp .env.example .env
# Перед общим стендом замените учебные пароли PostgreSQL и ключ S3 в .env.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
curl -fsS http://127.0.0.1:8080/health/ready
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Поднять остановленную реплику:
docker compose --env-file .env start api

Миграции выполняет одноразовый сервис migrate: тот же JAR с профилем migrate. Реплики api стартуют после него с SPRING_LIQUIBASE_ENABLED=false. Bucket messenger-attachments создаёт API при readiness (headBucket, при 404 — createBucket). Повторный старт тот же bucket не пересоздаёт.

Остановка без удаления данных: docker compose --env-file .env stop. Снятие контейнеров с сохранением volumes: docker compose --env-file .env down. Намеренное удаление учебных данных: docker compose --env-file .env down -v. Файл .env в Git не входит.

Свои проверки: mvn -q test в backend/ (Testcontainers поднимает PostgreSQL, Redis и SeaweedFS).

Архитектура и решения

Клиент ходит только в HAProxy на 127.0.0.1:8080. Две реплики api портов наружу не публикуют. Балансировка, сессии, идемпотентность и X-Instance-Id перенесены из lab3 без изменений смысла: PostgreSQL — источник истины пользователей, чатов, сообщений и сессий; Redis — только кэш разбора Bearer.

Байты вложения лежат в SeaweedFS (chrislusf/seaweedfs:4.52, команда server -s3), не в PostgreSQL и не на диске API. Образ MinIO с Docker Hub к этой дате снят, поэтому выбран SeaweedFS. Порты S3, master и filer наружу не опубликованы. Filer UI выключен (-filer.exposeDirectoryData=false). Анонимной личности в infra/s3.json нет.

Метаданные — таблица attachments (чат, владелец, отображаемое имя, MIME, размер, SHA-256, ключ объекта, статус ready). Связь с сообщением — message_attachments с порядком. Ключ объекта назначает сервер (originals/{uuid}) и в API не возвращается. Имя файла только для отображения: 1–255 кодовых точек, без /, \ и управляющих символов.

POST /api/v1/chats/{chat_id}/attachments принимает сырые байты image/png или image/jpeg. Длина режется по Content-Length и по чтению не больше 10 MiB до разбора картинки. PNG и JPEG проверяются по сигнатуре и заголовкам (размеры, IEND/EOI), пиксели не распаковываются. Подмена MIME и мусор — 415, больше 10 MiB или 40 млн пикселей — 413. После PUT в S3 строка пишется в PostgreSQL. Если транзакция не прошла, этот же запрос удаляет только что записанный объект. Если процесс умер между PUT и COMMIT, объект остаётся без строки. Раз в минуту OrphanSweeper смотрит ключи originals/ и удаляет те, у которых нет строки и LastModified старше S3_ORPHAN_GRACE (по умолчанию 2 минуты). Свежий объект не трогается: загрузка может ещё не закоммититься. Обрыв тела до конца чтения в S3 ничего не пишет. 201 возвращается со status=ready.

У API два ключа. messenger-api умеет Read/Write/List и ходит в PUT, GET, DELETE и список. messenger-bootstrap с Admin только создаёт bucket, если его ещё нет. Filer UI выключен.

Скачивание идёт через API (GET /api/v1/attachments/{id}/content), без редиректа. Участник чата получает те же байты и исходный Content-Type. Посторонний и вложение другого чата — 404. variant кроме original — 400.

Пустой текст сообщения допустим, только если есть хотя бы одно вложение. Нет поля attachment_ids и [] дают один и тот же ключ идемпотентности. Другой набор id при том же ключе — 409.

/health/ready включает процесс, PostgreSQL и S3. Redis в readiness не входит. scripts/restart.sh перезапускает lb, api, postgres, redis и s3, затем ждёт /health/ready и ещё 5 с: сразу после старта SeaweedFS master уже отвечает, а чтение объекта ещё может не успеть уложиться в таймаут клиента (2 с).

Роль Сервис Образ Готовность Volume Сеть Credentials
API api × API_REPLICAS messenger-lab4:1.0.0, сборка из backend/ GET /health/ready нет локального файла оригинала порт наружу не опубликован env Spring и S3
Балансировщик lb haproxy:3.2.6 процесс слушает 8080 нет только 127.0.0.1:8080 нет
Метаданные postgres postgres:16.10 pg_isready postgres-data 5432 только внутри сети POSTGRES_* из .env
Кэш сессии redis redis:7.4.6 redis-cli ping redis-data 6379 только внутри сети без пароля, сеть стенда
Объекты s3 chrislusf/seaweedfs:4.52 GET :9333/cluster/status s3-data 8333/9333 только внутри сети API: Read/Write/List. Bootstrap: Admin, только создание bucket
Миграции migrate тот же образ API завершается с кодом 0 нет нет тот же datasource

Лимиты контейнеров: API 1 CPU и 1024 MiB на реплику, PostgreSQL 1 CPU и 512 MiB, Redis 0.25 CPU и 128 MiB, HAProxy 0.25 CPU и 128 MiB, S3 0.5 CPU и 512 MiB.

Соответствие .env.example: переменные lab3 те же. S3_ENDPOINT в Compose — http://s3:8333, регион us-east-1, bucket messenger-attachments. MAX_UPLOAD_BYTES и MAX_IMAGE_PIXELS задают лимиты загрузки. Имена *_FILE из курса оставлены комментарием: стенд передаёт доступ переменными окружения, не файлами секретов.

Доказательства критериев

Стенд: Mac, arm64, 12 CPU, 24 GiB RAM, Docker 28.5.1. Прогон 5 ноября 2026.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke, checksum, чужой пользователь make test PASS: lab4 public API scenario evidence/results.txt
Две реплики, S3 и API без внешнего порта docker compose ps и docker inspect два API healthy, наружу только lb на 127.0.0.1:8080; у api и s3 host-порт null evidence/limits.txt, evidence/results.txt
Приватный bucket анонимный GET объекта из контейнера в сети стенда HTTP 403, ключей в запросе не было evidence/results.txt
Метаданные и оригинал переживают рестарт make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: persistence preserved confirmed data and existing session. Хук перезапускает lb, api, postgres, redis и s3, volumes не удаляет evidence/results.txt, scripts/restart.sh
Скачивание с другой реплики make test-failover ACTION_SCRIPT=scripts/stop-one.sh на прогретом стенде до отказа 2 instance id; 119 успешных записей, 1 ошибка на переходе, первая успешная запись через 1.665 с. PASS. В ps сразу после теста не было остановленной реплики api-2; docker compose start api вернул её в healthy evidence/results.txt
Слишком большой файл, порча, подмена MIME, чужой id, другой чат mvn -q test 10 МиБ+1 байт — 413 payload_too_large; битый PNG и JPEG под видом PNG — 415; ../secret.png — 400; чужой id и вложение другого чата — 404 not_found; посторонний — 404. Ни один из этих ответов не 500 AttachmentIntegrationTest, ImageFilesTest
Сирота в S3 без строки тот же прогон, OrphanSweeper объект без строки удаляется, объект с строкой остаётся. Свежее LastModified правило не удаляет OrphanSweeperTest, AttachmentIntegrationTest
10 одновременных загрузок, пик RAM 10 POST по 8 МиБ параллельно, docker stats все 10 ответов 201. До нагрузки около 389 MiB на реплику, пик 581.3 и 558.2 MiB при лимите 1024 MiB evidence/memory.txt
Возможности lab3 те же тесты идемпотентности и стенд из lab3 IdempotencyIntegrationTest входит в тот же прогон backend/src/test
Трек 5 не заявлен — —

Эксперименты и отказы

Память на загрузке ограничена 10 МиБ на запрос: тело читается кусками по 8 КиБ и обрывается на лишнем байте. Десять параллельных файлов по 8 МиБ дали пик 581.3 и 558.2 MiB на репликах при лимите 1024 MiB, все ответы 201. Клиент публичных тестов отказов обрывает запрос через 2 с.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
scripts/restart.sh перезапускает lb, api, postgres, redis, s3 тот же Bearer читает сообщение и исходные байты persistence-тест прошёл после паузы 5 с за /health/ready подтверждённые метаданные и оригинал на месте
Первый failover сразу после этого рестарта загрузка fixture и затем остановка реплики TimeoutError на POST вложения ещё до hook: чтение S3 не уложилось в 2 с повтор на уже прогретом стенде прошёл
stop-one.sh на прогретом стенде другая реплика отдаёт тот же файл, остановленная сама не поднимается 2 instance id до отказа, восстановление записи 1.665 с, PASS; остановленная реплика отсутствовала в ps подтверждённые данные на месте, реплика поднята вручную start api

Ограничения и следующие шаги

Один Docker-host не переживает потерю этой машины. Единственные PostgreSQL, Redis, SeaweedFS и HAProxy остаются точками отказа.

Если процесс API умирает после успешного PUT и до COMMIT, объект живёт без строки не дольше grace period, затем его забирает sweeper. Обратная дыра, строка есть, а объекта нет, обнаруживается при скачивании как 404. Отдельного прохода, который чинит пропавшие объекты, нет: это трек 5.

Консоль наружу не открыта, анонимное чтение отвечает 403. Ключ Admin в процессе API есть, но им только создаётся bucket.

Тело больше примерно 12 MiB может обрезать Tomcat своим 413 до JSON приложения. Лимит контракта 10 MiB проверяется в приложении.

Пока HAProxy не снял backend, часть запросов попадает в останавливаемую реплику. Балансировщик POST не повторяет. Клиент может повторить тот же Idempotency-Key.