Закрыть оценку 4: ключ API без Admin, очистка сирот и замер памяти.

Данные ходят ключом Read/Write/List, Admin только создаёт bucket. Объект без строки старше двух минут удаляется. Десять загрузок по 8 МиБ дали пик 581 МиБ при лимите 1024.
This commit is contained in:
ivanstorozhev
2026-11-06 10:26:48 +03:00
parent 0450ba42ad
commit 524d7d8c75
16 changed files with 581 additions and 25 deletions
+3
View File
@@ -19,6 +19,9 @@ S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY=messenger
S3_SECRET_KEY=messenger-lab-secret
S3_BOOTSTRAP_ACCESS_KEY=messenger-bootstrap
S3_BOOTSTRAP_SECRET_KEY=messenger-bootstrap-secret
S3_ORPHAN_GRACE=2m
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
# Course names kept for the report mapping. This stand passes credentials as env vars, not files.
+311
View File
@@ -0,0 +1,311 @@
# Демонстрация лабораторной 4
Один терминал в корне репозитория. Блоки идут сверху вниз, в том же шелле: функции и переменные сохраняются. Пароль учебный, из `contracts/examples.json`. Токен появится на экране; в Git и в отчёт его не копировать.
Что сказать в начале: клиент ходит только в HAProxy на `127.0.0.1:8080`. За ним две реплики API. PostgreSQL хранит пользователей, чаты, сообщения, сессии, ключи идемпотентности и метаданные вложений. Байты лежат в SeaweedFS, один bucket на обе реплики. Redis только кэширует разбор Bearer. На диске API оригинала нет, sticky session нет.
## 1. Поднять стенд
```sh
cp -n .env.example .env
docker compose --env-file .env up -d --build
until curl -fsS http://127.0.0.1:8080/health/ready >/dev/null; do sleep 1; done
docker compose --env-file .env ps -a
```
Ожидаем `api` в двух копиях (`healthy`), `lb`, `postgres`, `redis`, `s3` запущены. `migrate` уже завершился с кодом 0: схему он применил один раз и вышел. Порт на хосте есть только у `lb`: `127.0.0.1:8080`. Порты API и S3 наружу не опубликованы.
## 2. Оболочка запросов
Дальше в том же шелле.
```sh
export PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/homebrew/bin:$HOME/.docker/bin"
export LANG=en_US.UTF-8
BASE=http://127.0.0.1:8080
PASSWORD='Example-only-not-a-real-secret-123'
SUFFIX=$(date +%H%M%S)
basic() {
python3 -c 'import base64,sys; print(base64.b64encode(sys.argv[1].encode()).decode())' "$1"
}
call() {
method=$1
url_path=$2
shift 2
echo
echo "=== $method $url_path ==="
curl -sS -D /tmp/demo.hdr -o /tmp/demo.body -X "$method" "$BASE$url_path" "$@"
head -n 1 /tmp/demo.hdr
grep -iE '^(X-Request-Id|X-Instance-Id|WWW-Authenticate|Content-Type):' /tmp/demo.hdr || true
if [ -s /tmp/demo.body ]; then
python3 -c 'import json,sys; sys.stdout.reconfigure(encoding="utf-8"); print(json.dumps(json.load(sys.stdin), ensure_ascii=False, indent=2))' < /tmp/demo.body
fi
}
fetch() {
method=$1
url_path=$2
shift 2
echo
echo "=== $method $url_path ==="
curl -sS -D /tmp/demo.hdr -o /tmp/demo.body -X "$method" "$BASE$url_path" "$@"
head -n 1 /tmp/demo.hdr
grep -iE '^(X-Request-Id|X-Instance-Id|Content-Type|Content-Length):' /tmp/demo.hdr || true
echo "байт: $(wc -c < /tmp/demo.body | tr -d ' ')"
}
restore_api() {
# compose start заново гоняет migrate из-за depends_on. Здесь нужен только остановленный API.
ids=$(docker ps -aq --filter label=com.docker.compose.project=messenger-lab4 --filter label=com.docker.compose.service=api --filter status=exited)
if [ -n "$ids" ]; then
docker start $ids
fi
until [ "$(docker inspect -f '{{.State.Health.Status}}' messenger-lab4-api-1)" = healthy ] \
&& [ "$(docker inspect -f '{{.State.Health.Status}}' messenger-lab4-api-2)" = healthy ]
do
sleep 1
done
}
```
`call` печатает JSON. `fetch` забирает байты файла и JSON не разбирает. На каждом ответе API есть `X-Request-Id` и `X-Instance-Id`. Ошибки соединения от самого HAProxy этого заголовка могут не иметь.
## 3. Пользователи, одна сессия, чат
```sh
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"alice$SUFFIX\",\"display_name\":\"Алиса\",\"password\":\"$PASSWORD\"}"
ALICE=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"bob$SUFFIX\",\"display_name\":\"Боб\",\"password\":\"$PASSWORD\"}"
BOB=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"eve$SUFFIX\",\"display_name\":\"Ева\",\"password\":\"$PASSWORD\"}"
EVE=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "alice${SUFFIX}:${PASSWORD}")"
TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
call POST /api/v1/chats -H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d "{\"title\":\"Проект-$SUFFIX\",\"member_ids\":[\"$ALICE\",\"$BOB\"]}"
CHAT=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "bob${SUFFIX}:${PASSWORD}")"
BOB_TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "eve${SUFFIX}:${PASSWORD}")"
EVE_TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
```
Регистрация — `201` без поля `password`. Вход — `201`, `token_type=Bearer`. Чат создаётся одним запросом, в нём Алиса и Боб. Ева в чат не входит.
## 4. Идемпотентность сообщения
Ключ обязателен. Повтор того же текста возвращает то же сообщение. Другой текст с тем же ключом — `409`. Без ключа — `400`.
```sh
KEY="demo-$SUFFIX"
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"Привет, мир"}'
FIRST=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"Привет, мир"}'
SECOND=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
echo "ids: $FIRST и $SECOND"
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"другой текст"}'
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' \
-d '{"text":"без ключа"}'
```
Два id совпадают, оба ответа `201`. Третий запрос — `409`. Четвёртый — `400`. Область ключа: этот пользователь, `POST`, путь этого чата и сам ключ.
## 5. Вложение, сообщение, чужой пользователь
Загрузка — сырые байты, не multipart. Ключ объекта назначает сервер, в ответе его нет. Пустой текст допустим, потому что у сообщения есть вложение.
```sh
call POST "/api/v1/chats/$CHAT/attachments?filename=sample.png" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: image/png' \
--data-binary @tests/fixtures/sample.png
ATT=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
echo "status=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["status"])')"
python3 -c 'import json; d=json.load(open("/tmp/demo.body")); assert "object_key" not in d'
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: file-$SUFFIX" \
-H 'Content-Type: application/json' \
-d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cp /tmp/demo.body /tmp/demo.png
python3 - <<'PY'
import hashlib, pathlib
got = hashlib.sha256(pathlib.Path("/tmp/demo.png").read_bytes()).hexdigest()
src = hashlib.sha256(pathlib.Path("tests/fixtures/sample.png").read_bytes()).hexdigest()
print(got)
print("совпадает с fixture:", got == src)
PY
call GET "/api/v1/attachments/$ATT" -H "Authorization: Bearer $EVE_TOKEN"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $EVE_TOKEN"
call POST "/api/v1/chats/$CHAT/attachments?filename=../secret.png" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: image/png' \
--data-binary @tests/fixtures/sample.png
```
Загрузка — `201`, `status=ready`. Боб скачивает те же байты, `Content-Type: image/png`. Ева на метаданных и на байтах получает `404`. Имя `../secret.png` — `400`.
## 6. Одна сессия, две реплики
```sh
rm -f /tmp/instances.txt
i=0
while [ "$i" -lt 16 ]; do
call GET /api/v1/users/me -H "Authorization: Bearer $TOKEN" >/dev/null
grep -i '^X-Instance-Id:' /tmp/demo.hdr | awk '{print $2}' | tr -d '\r' >> /tmp/instances.txt
i=$((i + 1))
done
sort -u /tmp/instances.txt
echo "уникальных реплик: $(sort -u /tmp/instances.txt | grep -c .)"
docker inspect messenger-lab4-api-1 messenger-lab4-api-2 \
--format '{{.Name}} hostname={{.Config.Hostname}} {{.State.Status}}'
```
В файле два разных id. Они равны hostname контейнеров. Запросы Алисы идут по кругу, повторный вход не нужен.
Сохранить id для следующих шагов:
```sh
sort -u /tmp/instances.txt > /tmp/instance-ids.txt
FIRST_ID=$(sed -n '1p' /tmp/instance-ids.txt)
SECOND_ID=$(sed -n '2p' /tmp/instance-ids.txt)
echo "остановлю сначала $FIRST_ID, потом $SECOND_ID"
```
## 7. Остановка первой реплики, тот же файл
```sh
TARGET_INSTANCE_ID=$FIRST_ID ./scripts/stop-one.sh
docker compose --env-file .env ps api
rm -f /tmp/after-stop.txt
i=0
while [ "$i" -lt 8 ]; do
call GET /api/v1/users/me -H "Authorization: Bearer $TOKEN" >/dev/null
grep -i '^X-Instance-Id:' /tmp/demo.hdr | awk '{print $2}' | tr -d '\r' >> /tmp/after-stop.txt
i=$((i + 1))
done
echo "отвечали: $(sort -u /tmp/after-stop.txt | tr '\n' ' ')"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "байты те же"
```
Один контейнер `Exited`, код 143: это SIGTERM. В ответах остаётся только второй id. Боб тем же токеном получает тот же PNG. Файл не лежал на диске остановленной реплики: его отдал общий S3.
## 8. Вернуть первую и остановить вторую
```sh
restore_api
docker compose --env-file .env ps api
TARGET_INSTANCE_ID=$SECOND_ID ./scripts/stop-one.sh
docker compose --env-file .env ps api
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "байты те же"
```
Теперь остановлена другая реплика. Скачивание проходит через оставшуюся. Скрипт не трогает PostgreSQL, Redis, SeaweedFS, HAProxy и volumes.
Поднять обе обратно:
```sh
restore_api
```
## 9. Официальный тест отказа
Тест сам создаёт данные, загружает fixture, 15 секунд пишет сообщения и в это время `stop-one.sh` гасит ту реплику, которая ответила на пробный запрос.
```sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env ps api
```
В строке JSON: не меньше 2 реплик до отказа, число успешных записей, число ошибок перехода и `first_recovery_seconds` не больше 10. Остановленный контейнер виден в `ps` как `Exited`. Вернуть его:
```sh
restore_api
curl -fsS "$BASE/health/ready"
```
## 10. Рестарт всего стенда, тот же токен и тот же файл
```sh
docker inspect messenger-lab4-api-1 messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} {{.State.StartedAt}}' > /tmp/started-before.txt
./scripts/restart.sh
until curl -fsS "$BASE/health/ready" >/dev/null; do sleep 1; done
docker inspect messenger-lab4-api-1 messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} {{.State.StartedAt}}' > /tmp/started-after.txt
echo '--- до ---'
cat /tmp/started-before.txt
echo '--- после ---'
cat /tmp/started-after.txt
docker volume ls --filter name=messenger-lab4
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "после рестарта байты те же"
```
`StartedAt` у API, PostgreSQL, Redis и S3 изменился. Имена volumes те же: `postgres-data`, `redis-data`, `s3-data`. Боб читает тот же файл тем же токеном, входить заново не нужно. `restart.sh` после готовности ждёт ещё 5 с: master SeaweedFS отвечает раньше, чем чтение объекта стабильно укладывается в таймаут клиента.
Официальные проверки:
```sh
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
`make test` создаёт новых пользователей и сверяет checksum fixture. Persistence перезапускает стенд и читает оригинал прежним токеном теста.
## 11. Миграции, лимиты, закрытый bucket, нет файла на API
```sh
docker compose --env-file .env logs migrate | grep -E 'Run:|Previously run:'
docker compose --env-file .env exec postgres \
psql -U messenger -d messenger -c \
'select id, dateexecuted from databasechangelog order by orderexecuted;'
docker inspect messenger-lab4-api-1 messenger-lab4-api-2 messenger-lab4-lb-1 \
messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} cpus_ns={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}} ports={{json .HostConfig.PortBindings}} mounts={{json .Mounts}}'
docker run --rm --network messenger-lab4_default curlimages/curl:8.11.1 \
-sS -o /dev/null -w 'анонимный S3 %{http_code}\n' -m 5 \
http://s3:8333/messenger-attachments/originals/does-not-matter
```
У `migrate` в логе `Previously run: 6` и `Run: 0`. В `databasechangelog` шесть записей, последняя — вложения. У API `ports` пустые и `mounts` пустые: оригиналу некуда лечь на диск реплики. Наружу опубликован только `8080` у `lb`. Анонимный GET объекта — `403`. В `infra/s3.json` два пользователя: `messenger-api` без Admin и `messenger-bootstrap` только для создания bucket. Объект без строки в базе старше двух минут убирает фоновая очистка.
## 12. Остановить
```sh
docker compose --env-file .env stop
```
Данные на volumes остаются. Снять контейнеры, сохранив данные: `docker compose --env-file .env down`. Удалить учебные данные: `docker compose --env-file .env down -v`.
+14 -10
View File
@@ -1,7 +1,7 @@
# Отчёт — лабораторная 4
- Автор, группа: ivanstorozhev, БВТ2304
- Целевая оценка: 3
- Целевая оценка: 4
- Трек 5: не выбран
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт `contracts/openapi.json` 1.4.0 и `contracts/README.md`; код lab3 (Spring Boot 4.1.1, Spring Data JPA, Liquibase, Redis-кэш сессий, HAProxy, Argon2id, MapStruct, OpenAPI Generator 7.17.0). Новое: AWS SDK for Java 2.31.50 (`s3`, `apache-client`), SeaweedFS 4.52 как S3. Помощь ИИ: реализация стенда и отчёта в Cursor.
@@ -37,7 +37,9 @@ docker compose --env-file .env start api
Метаданные — таблица `attachments` (чат, владелец, отображаемое имя, MIME, размер, SHA-256, ключ объекта, статус `ready`). Связь с сообщением — `message_attachments` с порядком. Ключ объекта назначает сервер (`originals/{uuid}`) и в API не возвращается. Имя файла только для отображения: 1–255 кодовых точек, без `/`, `\` и управляющих символов.
`POST /api/v1/chats/{chat_id}/attachments` принимает сырые байты `image/png` или `image/jpeg`. Длина режется по `Content-Length` и по чтению не больше 10 MiB до разбора картинки. PNG и JPEG проверяются по сигнатуре и заголовкам (размеры, IEND/EOI), пиксели не распаковываются. Подмена MIME и мусор — 415, больше 10 MiB или 40 млн пикселей — 413. После PUT в S3 строка пишется в PostgreSQL. Если транзакция не прошла, этот же запрос удаляет только что записанный объект. 201 возвращается со `status=ready`.
`POST /api/v1/chats/{chat_id}/attachments` принимает сырые байты `image/png` или `image/jpeg`. Длина режется по `Content-Length` и по чтению не больше 10 MiB до разбора картинки. PNG и JPEG проверяются по сигнатуре и заголовкам (размеры, IEND/EOI), пиксели не распаковываются. Подмена MIME и мусор — 415, больше 10 MiB или 40 млн пикселей — 413. После PUT в S3 строка пишется в PostgreSQL. Если транзакция не прошла, этот же запрос удаляет только что записанный объект. Если процесс умер между PUT и COMMIT, объект остаётся без строки. Раз в минуту `OrphanSweeper` смотрит ключи `originals/` и удаляет те, у которых нет строки и `LastModified` старше `S3_ORPHAN_GRACE` (по умолчанию 2 минуты). Свежий объект не трогается: загрузка может ещё не закоммититься. Обрыв тела до конца чтения в S3 ничего не пишет. 201 возвращается со `status=ready`.
У API два ключа. `messenger-api` умеет Read/Write/List и ходит в PUT, GET, DELETE и список. `messenger-bootstrap` с Admin только создаёт bucket, если его ещё нет. Filer UI выключен.
Скачивание идёт через API (`GET /api/v1/attachments/{id}/content`), без редиректа. Участник чата получает те же байты и исходный `Content-Type`. Посторонний и вложение другого чата — 404. `variant` кроме `original` — 400.
@@ -51,7 +53,7 @@ docker compose --env-file .env start api
| Балансировщик | `lb` | `haproxy:3.2.6` | процесс слушает 8080 | нет | только `127.0.0.1:8080` | нет |
| Метаданные | `postgres` | `postgres:16.10` | `pg_isready` | `postgres-data` | 5432 только внутри сети | `POSTGRES_*` из `.env` |
| Кэш сессии | `redis` | `redis:7.4.6` | `redis-cli ping` | `redis-data` | 6379 только внутри сети | без пароля, сеть стенда |
| Объекты | `s3` | `chrislusf/seaweedfs:4.52` | `GET :9333/cluster/status` | `s3-data` | 8333/9333 только внутри сети | `S3_ACCESS_KEY` / `S3_SECRET_KEY`, SeaweedFS подставляет их в `infra/s3.json` |
| Объекты | `s3` | `chrislusf/seaweedfs:4.52` | `GET :9333/cluster/status` | `s3-data` | 8333/9333 только внутри сети | API: Read/Write/List. Bootstrap: Admin, только создание bucket |
| Миграции | `migrate` | тот же образ API | завершается с кодом 0 | нет | нет | тот же datasource |
Лимиты контейнеров: API 1 CPU и 1024 MiB на реплику, PostgreSQL 1 CPU и 512 MiB, Redis 0.25 CPU и 128 MiB, HAProxy 0.25 CPU и 128 MiB, S3 0.5 CPU и 512 MiB.
@@ -69,13 +71,15 @@ docker compose --env-file .env start api
| Приватный bucket | анонимный GET объекта из контейнера в сети стенда | HTTP 403, ключей в запросе не было | `evidence/results.txt` |
| Метаданные и оригинал переживают рестарт | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS: persistence preserved confirmed data and existing session.` Хук перезапускает lb, api, postgres, redis и s3, volumes не удаляет | `evidence/results.txt`, `scripts/restart.sh` |
| Скачивание с другой реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` на прогретом стенде | до отказа 2 instance id; 119 успешных записей, 1 ошибка на переходе, первая успешная запись через 1.665 с. `PASS`. В `ps` сразу после теста не было остановленной реплики `api-2`; `docker compose start api` вернул её в healthy | `evidence/results.txt` |
| Реальный PNG, MIME, опасное имя, чужой чат | `mvn -q test` | fixture 320×200 проходит; мусор с `Content-Type: image/png` — 415; `../secret.png` — 400; вложение другого чата — 404; посторонний — 404; заголовок PNG 8000×8000 — 413 без распаковки пикселей. Всего 16 тестов, 0 ошибок | `ImageFilesTest`, `AttachmentIntegrationTest` |
| Возможности lab3 | те же тесты идемпотентности и стенд из lab3 | `IdempotencyIntegrationTest` входит в те же 16 тестов | `backend/src/test` |
| Трек 5 и уровень 4 целиком | не заявлялись | — | — |
| Слишком большой файл, порча, подмена MIME, чужой id, другой чат | `mvn -q test` | 10 МиБ+1 байт — 413 `payload_too_large`; битый PNG и JPEG под видом PNG — 415; `../secret.png` — 400; чужой id и вложение другого чата — 404 `not_found`; посторонний — 404. Ни один из этих ответов не 500 | `AttachmentIntegrationTest`, `ImageFilesTest` |
| Сирота в S3 без строки | тот же прогон, `OrphanSweeper` | объект без строки удаляется, объект с строкой остаётся. Свежее `LastModified` правило не удаляет | `OrphanSweeperTest`, `AttachmentIntegrationTest` |
| 10 одновременных загрузок, пик RAM | 10 POST по 8 МиБ параллельно, `docker stats` | все 10 ответов 201. До нагрузки около 389 MiB на реплику, пик 581.3 и 558.2 MiB при лимите 1024 MiB | `evidence/memory.txt` |
| Возможности lab3 | те же тесты идемпотентности и стенд из lab3 | `IdempotencyIntegrationTest` входит в тот же прогон | `backend/src/test` |
| Трек 5 | не заявлен | — | — |
## Эксперименты и отказы
Отдельного профиля нагрузки для lab4 нет: целевая оценка 3, измерение RAM при ≥10 одновременных загрузках не проводилось. Клиент публичных тестов отказов обрывает запрос через 2 с.
Память на загрузке ограничена 10 МиБ на запрос: тело читается кусками по 8 КиБ и обрывается на лишнем байте. Десять параллельных файлов по 8 МиБ дали пик 581.3 и 558.2 MiB на репликах при лимите 1024 MiB, все ответы 201. Клиент публичных тестов отказов обрывает запрос через 2 с.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
@@ -87,10 +91,10 @@ docker compose --env-file .env start api
Один Docker-host не переживает потерю этой машины. Единственные PostgreSQL, Redis, SeaweedFS и HAProxy остаются точками отказа.
Если процесс API умирает после успешного PUT и до COMMIT, объект в bucket остаётся без строки в PostgreSQL. Обратная компенсация есть только в том же запросе, когда ошибка поймана. Отдельного reconciler и grace period нет — это пункт оценки 4, здесь не сделан.
Если процесс API умирает после успешного PUT и до COMMIT, объект живёт без строки не дольше grace period, затем его забирает sweeper. Обратная дыра, строка есть, а объекта нет, обнаруживается при скачивании как 404. Отдельного прохода, который чинит пропавшие объекты, нет: это трек 5.
Ключ S3 один, с правами Admin/Read/Write/List/Tagging. Отдельного пользователя только на запись и чтение своего bucket нет. Консоль наружу не открыта, анонимное чтение отвечает 403.
Консоль наружу не открыта, анонимное чтение отвечает 403. Ключ Admin в процессе API есть, но им только создаётся bucket.
Тело больше примерно 12 MiB может обрезать Tomcat своим 413 до JSON приложения. Лимит контракта 10 MiB проверяется в приложении. Пик памяти на 10 параллельных загрузок не измерялся.
Тело больше примерно 12 MiB может обрезать Tomcat своим 413 до JSON приложения. Лимит контракта 10 MiB проверяется в приложении.
Пока HAProxy не снял backend, часть запросов попадает в останавливаемую реплику. Балансировщик POST не повторяет. Клиент может повторить тот же `Idempotency-Key`.
@@ -6,4 +6,6 @@ import ru.mtuci.messenger.domain.AttachmentEntity;
import java.util.UUID;
public interface AttachmentRepository extends JpaRepository<AttachmentEntity, UUID> {
boolean existsByObjectKey(String objectKey);
}
@@ -2,6 +2,7 @@ package ru.mtuci.messenger.storage;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import ru.mtuci.messenger.exception.NotFoundException;
@@ -14,29 +15,42 @@ import software.amazon.awssdk.services.s3.model.CreateBucketRequest;
import software.amazon.awssdk.services.s3.model.DeleteObjectRequest;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import software.amazon.awssdk.services.s3.model.HeadBucketRequest;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.NoSuchBucketException;
import software.amazon.awssdk.services.s3.model.NoSuchKeyException;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Exception;
import software.amazon.awssdk.services.s3.model.S3Object;
import java.io.InputStream;
import java.time.Instant;
import java.util.ArrayList;
import java.util.List;
@Component
public class ObjectStorage {
private static final Logger log = LoggerFactory.getLogger(ObjectStorage.class);
private final S3Client s3;
private final S3Client data;
private final S3Client bootstrap;
private final String bucket;
public ObjectStorage(S3Client s3, @Value("${app.s3.bucket}") String bucket) {
this.s3 = s3;
public ObjectStorage(@Qualifier("s3Data") S3Client data,
@Qualifier("s3Bootstrap") S3Client bootstrap,
@Value("${app.s3.bucket}") String bucket) {
this.data = data;
this.bootstrap = bootstrap;
this.bucket = bucket;
}
public record StoredObject(String key, Instant modified) {
}
public void ensureBucket() {
try {
s3.headBucket(HeadBucketRequest.builder().bucket(bucket).build());
bootstrap.headBucket(HeadBucketRequest.builder().bucket(bucket).build());
} catch (NoSuchBucketException missing) {
createBucket();
} catch (S3Exception exception) {
@@ -52,7 +66,7 @@ public class ObjectStorage {
public void put(String key, byte[] body, String contentType) {
try {
s3.putObject(PutObjectRequest.builder()
data.putObject(PutObjectRequest.builder()
.bucket(bucket)
.key(key)
.contentType(contentType)
@@ -65,7 +79,7 @@ public class ObjectStorage {
public InputStream get(String key) {
try {
return s3.getObject(GetObjectRequest.builder().bucket(bucket).key(key).build());
return data.getObject(GetObjectRequest.builder().bucket(bucket).key(key).build());
} catch (NoSuchKeyException missing) {
throw new NotFoundException();
} catch (S3Exception exception) {
@@ -78,9 +92,36 @@ public class ObjectStorage {
}
}
public List<StoredObject> list(String prefix) {
List<StoredObject> objects = new ArrayList<>();
String token = null;
do {
ListObjectsV2Request.Builder request = ListObjectsV2Request.builder()
.bucket(bucket)
.prefix(prefix);
if (token != null) {
request.continuationToken(token);
}
ListObjectsV2Response page;
try {
page = data.listObjectsV2(request.build());
} catch (RuntimeException exception) {
throw storageFailure(exception);
}
if (page.contents() != null) {
for (S3Object object : page.contents()) {
Instant modified = object.lastModified() == null ? Instant.EPOCH : object.lastModified();
objects.add(new StoredObject(object.key(), modified));
}
}
token = page.nextContinuationToken();
} while (token != null);
return objects;
}
public void deleteQuietly(String key) {
try {
s3.deleteObject(DeleteObjectRequest.builder().bucket(bucket).key(key).build());
data.deleteObject(DeleteObjectRequest.builder().bucket(bucket).key(key).build());
} catch (RuntimeException exception) {
log.warn("s3 delete failed status={}", exception.getClass().getSimpleName());
}
@@ -88,7 +129,7 @@ public class ObjectStorage {
private void createBucket() {
try {
s3.createBucket(CreateBucketRequest.builder().bucket(bucket).build());
bootstrap.createBucket(CreateBucketRequest.builder().bucket(bucket).build());
} catch (BucketAlreadyExistsException | BucketAlreadyOwnedByYouException ignored) {
// another replica created the bucket
} catch (S3Exception exception) {
@@ -0,0 +1,57 @@
package ru.mtuci.messenger.storage;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.context.annotation.Profile;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import ru.mtuci.messenger.repository.AttachmentRepository;
import java.time.Duration;
import java.time.Instant;
@Component
@Profile("!migrate")
@ConditionalOnProperty(name = "app.s3.sweep-enabled", havingValue = "true", matchIfMissing = true)
public class OrphanSweeper {
private static final Logger log = LoggerFactory.getLogger(OrphanSweeper.class);
private final ObjectStorage storage;
private final AttachmentRepository attachments;
private final Duration grace;
public OrphanSweeper(ObjectStorage storage, AttachmentRepository attachments,
@Value("${app.s3.orphan-grace:2m}") Duration grace) {
this.storage = storage;
this.attachments = attachments;
this.grace = grace;
}
@Scheduled(fixedDelayString = "${app.s3.sweep-interval-ms:60000}",
initialDelayString = "${app.s3.sweep-initial-delay-ms:60000}")
public int sweep() {
return sweepOlderThan(Instant.now().minus(grace));
}
public int sweepOlderThan(Instant cutoff) {
int removed = 0;
for (ObjectStorage.StoredObject object : storage.list("originals/")) {
if (!expiredUnreferenced(object.modified(), cutoff, attachments.existsByObjectKey(object.key()))) {
continue;
}
storage.deleteQuietly(object.key());
removed++;
}
if (removed > 0) {
log.info("removed {} orphan objects older than {}", removed, cutoff);
}
return removed;
}
static boolean expiredUnreferenced(Instant modified, Instant cutoff, boolean referenced) {
return !referenced && !modified.isAfter(cutoff);
}
}
@@ -16,11 +16,23 @@ import java.time.Duration;
@Configuration
public class S3Config {
@Bean(destroyMethod = "close")
S3Client s3Client(@Value("${app.s3.endpoint}") String endpoint,
@Value("${app.s3.region}") String region,
@Value("${app.s3.access-key}") String accessKey,
@Value("${app.s3.secret-key}") String secretKey) {
@Bean(name = "s3Data", destroyMethod = "close")
S3Client s3Data(@Value("${app.s3.endpoint}") String endpoint,
@Value("${app.s3.region}") String region,
@Value("${app.s3.access-key}") String accessKey,
@Value("${app.s3.secret-key}") String secretKey) {
return client(endpoint, region, accessKey, secretKey);
}
@Bean(name = "s3Bootstrap", destroyMethod = "close")
S3Client s3Bootstrap(@Value("${app.s3.endpoint}") String endpoint,
@Value("${app.s3.region}") String region,
@Value("${app.s3.bootstrap-access-key}") String accessKey,
@Value("${app.s3.bootstrap-secret-key}") String secretKey) {
return client(endpoint, region, accessKey, secretKey);
}
private static S3Client client(String endpoint, String region, String accessKey, String secretKey) {
return S3Client.builder()
.endpointOverride(URI.create(endpoint))
.region(Region.of(region))
@@ -34,4 +46,5 @@ public class S3Config {
.apiCallAttemptTimeout(Duration.ofSeconds(8)))
.build();
}
}
@@ -0,0 +1,11 @@
package ru.mtuci.messenger.storage;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;
import org.springframework.scheduling.annotation.EnableScheduling;
@Configuration
@EnableScheduling
@Profile("!migrate")
public class SweepConfig {
}
@@ -115,6 +115,11 @@ app:
bucket: ${S3_BUCKET:messenger-attachments}
access-key: ${S3_ACCESS_KEY:messenger}
secret-key: ${S3_SECRET_KEY:messenger}
bootstrap-access-key: ${S3_BOOTSTRAP_ACCESS_KEY:messenger-bootstrap}
bootstrap-secret-key: ${S3_BOOTSTRAP_SECRET_KEY:messenger-bootstrap}
orphan-grace: ${S3_ORPHAN_GRACE:2m}
sweep-interval-ms: ${S3_SWEEP_INTERVAL_MS:60000}
sweep-initial-delay-ms: ${S3_SWEEP_INITIAL_DELAY_MS:60000}
logging:
pattern:
@@ -3,6 +3,8 @@ package ru.mtuci.messenger;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import ru.mtuci.messenger.storage.ObjectStorage;
import ru.mtuci.messenger.storage.OrphanSweeper;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.boot.test.web.server.LocalServerPort;
import org.springframework.test.context.DynamicPropertyRegistry;
@@ -25,10 +27,12 @@ import java.util.Base64;
import java.util.HexFormat;
import java.util.List;
import java.util.Map;
import java.time.Instant;
import java.util.UUID;
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertTrue;
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
class AttachmentIntegrationTest {
@@ -39,6 +43,12 @@ class AttachmentIntegrationTest {
@Autowired
JsonMapper jsonMapper;
@Autowired
ObjectStorage storage;
@Autowired
OrphanSweeper sweeper;
private ApiClient api;
private final HttpClient http = HttpClient.newHttpClient();
@@ -94,6 +104,48 @@ class AttachmentIntegrationTest {
Map.of("text", "", "attachment_ids", List.of(attachment.get("id").asString())),
Map.of("Idempotency-Key", UUID.randomUUID().toString()));
assertEquals(404, foreign.status());
assertEquals("not_found", foreign.body().get("error").get("code").asString());
ApiClient.Result missing = api.post("/api/v1/chats/" + chatId + "/messages", aliceToken,
Map.of("text", "", "attachment_ids", List.of(UUID.randomUUID().toString())),
Map.of("Idempotency-Key", UUID.randomUUID().toString()));
assertEquals(404, missing.status());
HttpResponse<String> corrupt = upload(aliceToken, chatId, "broken.png", "image/png",
new byte[] {(byte) 137, 80, 78, 71, 13, 10, 26, 10, 0, 1, 2});
assertEquals(415, corrupt.statusCode());
assertEquals("unsupported_media_type", jsonMapper.readTree(corrupt.body()).get("error").get("code").asString());
byte[] jpeg = new byte[] {
(byte) 0xff, (byte) 0xd8,
(byte) 0xff, (byte) 0xc0, 0x00, 0x0b, 0x08, 0x00, 0x01, 0x00, 0x01, 0x01, 0x01, 0x11, 0x00,
(byte) 0xff, (byte) 0xd9
};
HttpResponse<String> mime = upload(aliceToken, chatId, "photo.png", "image/png", jpeg);
assertEquals(415, mime.statusCode());
HttpResponse<String> tooBig = upload(aliceToken, chatId, "big.png", "image/png", new byte[10_485_761]);
assertEquals(413, tooBig.statusCode());
assertEquals("payload_too_large", jsonMapper.readTree(tooBig.body()).get("error").get("code").asString());
assertTrue(tooBig.statusCode() < 500);
}
@Test
void sweepDropsOrphanAndKeepsReferencedObject() throws Exception {
String password = "Example-only-not-a-real-secret-123";
JsonNode alice = register("sw", password);
String token = login(alice.get("username").asString(), password);
String chatId = chat(token, List.of(alice.get("id").asString()));
byte[] png = Files.readAllBytes(Path.of("../tests/fixtures/sample.png"));
HttpResponse<String> created = upload(token, chatId, "sample.png", "image/png", png);
assertEquals(201, created.statusCode());
String id = jsonMapper.readTree(created.body()).get("id").asString();
storage.put("originals/orphan-" + UUID.randomUUID(), new byte[] {9, 9, 9}, "application/octet-stream");
int removed = sweeper.sweepOlderThan(Instant.now().plusSeconds(120));
assertTrue(removed >= 1);
assertEquals(200, download(token, id).statusCode());
assertTrue(storage.list("originals/").stream().noneMatch(object -> object.key().contains("orphan-")));
}
private HttpResponse<String> upload(String token, String chatId, String filename, String type, byte[] body) throws Exception {
@@ -0,0 +1,19 @@
package ru.mtuci.messenger.storage;
import org.junit.jupiter.api.Test;
import java.time.Instant;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertTrue;
class OrphanSweeperTest {
@Test
void graceKeepsFreshObjectAndReferencedRow() {
Instant cutoff = Instant.parse("2026-11-06T07:00:00Z");
assertFalse(OrphanSweeper.expiredUnreferenced(cutoff.plusSeconds(1), cutoff, false));
assertFalse(OrphanSweeper.expiredUnreferenced(cutoff.minusSeconds(30), cutoff, true));
assertTrue(OrphanSweeper.expiredUnreferenced(cutoff.minusSeconds(30), cutoff, false));
}
}
@@ -12,6 +12,8 @@ public final class LabContainers {
public static final String S3_ACCESS_KEY = "messenger-test";
public static final String S3_SECRET_KEY = "messenger-test-secret";
public static final String S3_BOOTSTRAP_ACCESS_KEY = "messenger-bootstrap";
public static final String S3_BOOTSTRAP_SECRET_KEY = "messenger-bootstrap-secret";
public static final String S3_BUCKET = "messenger-attachments";
public static final PostgreSQLContainer POSTGRES = new PostgreSQLContainer("postgres:16.10");
@@ -47,5 +49,8 @@ public final class LabContainers {
registry.add("app.s3.bucket", () -> S3_BUCKET);
registry.add("app.s3.access-key", () -> S3_ACCESS_KEY);
registry.add("app.s3.secret-key", () -> S3_SECRET_KEY);
registry.add("app.s3.bootstrap-access-key", () -> S3_BOOTSTRAP_ACCESS_KEY);
registry.add("app.s3.bootstrap-secret-key", () -> S3_BOOTSTRAP_SECRET_KEY);
registry.add("app.s3.sweep-initial-delay-ms", () -> "3600000");
}
}
+11 -1
View File
@@ -8,7 +8,17 @@
"secretKey": "messenger-test-secret"
}
],
"actions": ["Admin", "Read", "Write", "List", "Tagging"]
"actions": ["Read", "Write", "List"]
},
{
"name": "messenger-bootstrap",
"credentials": [
{
"accessKey": "messenger-bootstrap",
"secretKey": "messenger-bootstrap-secret"
}
],
"actions": ["Admin"]
}
]
}
+5
View File
@@ -14,6 +14,9 @@ x-datasource: &datasource
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY: ${S3_ACCESS_KEY:?set S3_ACCESS_KEY in .env}
S3_SECRET_KEY: ${S3_SECRET_KEY:?set S3_SECRET_KEY in .env}
S3_BOOTSTRAP_ACCESS_KEY: ${S3_BOOTSTRAP_ACCESS_KEY:?set S3_BOOTSTRAP_ACCESS_KEY in .env}
S3_BOOTSTRAP_SECRET_KEY: ${S3_BOOTSTRAP_SECRET_KEY:?set S3_BOOTSTRAP_SECRET_KEY in .env}
S3_ORPHAN_GRACE: ${S3_ORPHAN_GRACE:-2m}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
LIQUIBASE_ANALYTICS_ENABLED: "false"
@@ -69,6 +72,8 @@ services:
environment:
S3_ACCESS_KEY: ${S3_ACCESS_KEY:?set S3_ACCESS_KEY in .env}
S3_SECRET_KEY: ${S3_SECRET_KEY:?set S3_SECRET_KEY in .env}
S3_BOOTSTRAP_ACCESS_KEY: ${S3_BOOTSTRAP_ACCESS_KEY:?set S3_BOOTSTRAP_ACCESS_KEY in .env}
S3_BOOTSTRAP_SECRET_KEY: ${S3_BOOTSTRAP_SECRET_KEY:?set S3_BOOTSTRAP_SECRET_KEY in .env}
volumes:
- s3-data:/data
- ./infra/s3.json:/etc/seaweedfs/s3.json:ro
+8
View File
@@ -0,0 +1,8 @@
10 одновременных POST image/png по 8 МиБ. Файл структурно валидный, 1×1 пиксель, IDAT не распаковывается.
Ответы: 201 201 201 201 201 201 201 201 201 201.
Длительность запросов, с: 3.779, 3.906, 1.739, 3.905, 3.907, 3.857, 3.856, 3.856, 3.855, 3.854.
docker stats, лимит контейнера 1024 MiB.
До нагрузки обе реплики около 389 MiB.
Пик messenger-lab4-api-1: 581.3 MiB.
Пик messenger-lab4-api-2: 558.2 MiB.
Лимит чтения одного запроса 10 МиБ, поэтому десять параллельных тел держат не больше примерно 100 МиБ сверх самой JVM.
+11 -1
View File
@@ -8,7 +8,17 @@
"secretKey": "${S3_SECRET_KEY}"
}
],
"actions": ["Admin", "Read", "Write", "List", "Tagging"]
"actions": ["Read", "Write", "List"]
},
{
"name": "messenger-bootstrap",
"credentials": [
{
"accessKey": "${S3_BOOTSTRAP_ACCESS_KEY}",
"secretKey": "${S3_BOOTSTRAP_SECRET_KEY}"
}
],
"actions": ["Admin"]
}
]
}