Данные ходят ключом Read/Write/List, Admin только создаёт bucket. Объект без строки старше двух минут удаляется. Десять загрузок по 8 МиБ дали пик 581 МиБ при лимите 1024.
16 KiB
Демонстрация лабораторной 4
Один терминал в корне репозитория. Блоки идут сверху вниз, в том же шелле: функции и переменные сохраняются. Пароль учебный, из contracts/examples.json. Токен появится на экране; в Git и в отчёт его не копировать.
Что сказать в начале: клиент ходит только в HAProxy на 127.0.0.1:8080. За ним две реплики API. PostgreSQL хранит пользователей, чаты, сообщения, сессии, ключи идемпотентности и метаданные вложений. Байты лежат в SeaweedFS, один bucket на обе реплики. Redis только кэширует разбор Bearer. На диске API оригинала нет, sticky session нет.
1. Поднять стенд
cp -n .env.example .env
docker compose --env-file .env up -d --build
until curl -fsS http://127.0.0.1:8080/health/ready >/dev/null; do sleep 1; done
docker compose --env-file .env ps -a
Ожидаем api в двух копиях (healthy), lb, postgres, redis, s3 запущены. migrate уже завершился с кодом 0: схему он применил один раз и вышел. Порт на хосте есть только у lb: 127.0.0.1:8080. Порты API и S3 наружу не опубликованы.
2. Оболочка запросов
Дальше в том же шелле.
export PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/homebrew/bin:$HOME/.docker/bin"
export LANG=en_US.UTF-8
BASE=http://127.0.0.1:8080
PASSWORD='Example-only-not-a-real-secret-123'
SUFFIX=$(date +%H%M%S)
basic() {
python3 -c 'import base64,sys; print(base64.b64encode(sys.argv[1].encode()).decode())' "$1"
}
call() {
method=$1
url_path=$2
shift 2
echo
echo "=== $method $url_path ==="
curl -sS -D /tmp/demo.hdr -o /tmp/demo.body -X "$method" "$BASE$url_path" "$@"
head -n 1 /tmp/demo.hdr
grep -iE '^(X-Request-Id|X-Instance-Id|WWW-Authenticate|Content-Type):' /tmp/demo.hdr || true
if [ -s /tmp/demo.body ]; then
python3 -c 'import json,sys; sys.stdout.reconfigure(encoding="utf-8"); print(json.dumps(json.load(sys.stdin), ensure_ascii=False, indent=2))' < /tmp/demo.body
fi
}
fetch() {
method=$1
url_path=$2
shift 2
echo
echo "=== $method $url_path ==="
curl -sS -D /tmp/demo.hdr -o /tmp/demo.body -X "$method" "$BASE$url_path" "$@"
head -n 1 /tmp/demo.hdr
grep -iE '^(X-Request-Id|X-Instance-Id|Content-Type|Content-Length):' /tmp/demo.hdr || true
echo "байт: $(wc -c < /tmp/demo.body | tr -d ' ')"
}
restore_api() {
# compose start заново гоняет migrate из-за depends_on. Здесь нужен только остановленный API.
ids=$(docker ps -aq --filter label=com.docker.compose.project=messenger-lab4 --filter label=com.docker.compose.service=api --filter status=exited)
if [ -n "$ids" ]; then
docker start $ids
fi
until [ "$(docker inspect -f '{{.State.Health.Status}}' messenger-lab4-api-1)" = healthy ] \
&& [ "$(docker inspect -f '{{.State.Health.Status}}' messenger-lab4-api-2)" = healthy ]
do
sleep 1
done
}
call печатает JSON. fetch забирает байты файла и JSON не разбирает. На каждом ответе API есть X-Request-Id и X-Instance-Id. Ошибки соединения от самого HAProxy этого заголовка могут не иметь.
3. Пользователи, одна сессия, чат
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"alice$SUFFIX\",\"display_name\":\"Алиса\",\"password\":\"$PASSWORD\"}"
ALICE=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"bob$SUFFIX\",\"display_name\":\"Боб\",\"password\":\"$PASSWORD\"}"
BOB=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/users -H 'Content-Type: application/json' \
-d "{\"username\":\"eve$SUFFIX\",\"display_name\":\"Ева\",\"password\":\"$PASSWORD\"}"
EVE=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "alice${SUFFIX}:${PASSWORD}")"
TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
call POST /api/v1/chats -H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json' \
-d "{\"title\":\"Проект-$SUFFIX\",\"member_ids\":[\"$ALICE\",\"$BOB\"]}"
CHAT=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "bob${SUFFIX}:${PASSWORD}")"
BOB_TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
call POST /api/v1/auth/sessions -H "Authorization: Basic $(basic "eve${SUFFIX}:${PASSWORD}")"
EVE_TOKEN=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["token"])')
Регистрация — 201 без поля password. Вход — 201, token_type=Bearer. Чат создаётся одним запросом, в нём Алиса и Боб. Ева в чат не входит.
4. Идемпотентность сообщения
Ключ обязателен. Повтор того же текста возвращает то же сообщение. Другой текст с тем же ключом — 409. Без ключа — 400.
KEY="demo-$SUFFIX"
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"Привет, мир"}'
FIRST=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"Привет, мир"}'
SECOND=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
echo "ids: $FIRST и $SECOND"
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: $KEY" \
-H 'Content-Type: application/json' \
-d '{"text":"другой текст"}'
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' \
-d '{"text":"без ключа"}'
Два id совпадают, оба ответа 201. Третий запрос — 409. Четвёртый — 400. Область ключа: этот пользователь, POST, путь этого чата и сам ключ.
5. Вложение, сообщение, чужой пользователь
Загрузка — сырые байты, не multipart. Ключ объекта назначает сервер, в ответе его нет. Пустой текст допустим, потому что у сообщения есть вложение.
call POST "/api/v1/chats/$CHAT/attachments?filename=sample.png" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: image/png' \
--data-binary @tests/fixtures/sample.png
ATT=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["id"])')
echo "status=$(python3 -c 'import json; print(json.load(open("/tmp/demo.body"))["status"])')"
python3 -c 'import json; d=json.load(open("/tmp/demo.body")); assert "object_key" not in d'
call POST "/api/v1/chats/$CHAT/messages" \
-H "Authorization: Bearer $TOKEN" \
-H "Idempotency-Key: file-$SUFFIX" \
-H 'Content-Type: application/json' \
-d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cp /tmp/demo.body /tmp/demo.png
python3 - <<'PY'
import hashlib, pathlib
got = hashlib.sha256(pathlib.Path("/tmp/demo.png").read_bytes()).hexdigest()
src = hashlib.sha256(pathlib.Path("tests/fixtures/sample.png").read_bytes()).hexdigest()
print(got)
print("совпадает с fixture:", got == src)
PY
call GET "/api/v1/attachments/$ATT" -H "Authorization: Bearer $EVE_TOKEN"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $EVE_TOKEN"
call POST "/api/v1/chats/$CHAT/attachments?filename=../secret.png" \
-H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: image/png' \
--data-binary @tests/fixtures/sample.png
Загрузка — 201, status=ready. Боб скачивает те же байты, Content-Type: image/png. Ева на метаданных и на байтах получает 404. Имя ../secret.png — 400.
6. Одна сессия, две реплики
rm -f /tmp/instances.txt
i=0
while [ "$i" -lt 16 ]; do
call GET /api/v1/users/me -H "Authorization: Bearer $TOKEN" >/dev/null
grep -i '^X-Instance-Id:' /tmp/demo.hdr | awk '{print $2}' | tr -d '\r' >> /tmp/instances.txt
i=$((i + 1))
done
sort -u /tmp/instances.txt
echo "уникальных реплик: $(sort -u /tmp/instances.txt | grep -c .)"
docker inspect messenger-lab4-api-1 messenger-lab4-api-2 \
--format '{{.Name}} hostname={{.Config.Hostname}} {{.State.Status}}'
В файле два разных id. Они равны hostname контейнеров. Запросы Алисы идут по кругу, повторный вход не нужен.
Сохранить id для следующих шагов:
sort -u /tmp/instances.txt > /tmp/instance-ids.txt
FIRST_ID=$(sed -n '1p' /tmp/instance-ids.txt)
SECOND_ID=$(sed -n '2p' /tmp/instance-ids.txt)
echo "остановлю сначала $FIRST_ID, потом $SECOND_ID"
7. Остановка первой реплики, тот же файл
TARGET_INSTANCE_ID=$FIRST_ID ./scripts/stop-one.sh
docker compose --env-file .env ps api
rm -f /tmp/after-stop.txt
i=0
while [ "$i" -lt 8 ]; do
call GET /api/v1/users/me -H "Authorization: Bearer $TOKEN" >/dev/null
grep -i '^X-Instance-Id:' /tmp/demo.hdr | awk '{print $2}' | tr -d '\r' >> /tmp/after-stop.txt
i=$((i + 1))
done
echo "отвечали: $(sort -u /tmp/after-stop.txt | tr '\n' ' ')"
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "байты те же"
Один контейнер Exited, код 143: это SIGTERM. В ответах остаётся только второй id. Боб тем же токеном получает тот же PNG. Файл не лежал на диске остановленной реплики: его отдал общий S3.
8. Вернуть первую и остановить вторую
restore_api
docker compose --env-file .env ps api
TARGET_INSTANCE_ID=$SECOND_ID ./scripts/stop-one.sh
docker compose --env-file .env ps api
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "байты те же"
Теперь остановлена другая реплика. Скачивание проходит через оставшуюся. Скрипт не трогает PostgreSQL, Redis, SeaweedFS, HAProxy и volumes.
Поднять обе обратно:
restore_api
9. Официальный тест отказа
Тест сам создаёт данные, загружает fixture, 15 секунд пишет сообщения и в это время stop-one.sh гасит ту реплику, которая ответила на пробный запрос.
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env ps api
В строке JSON: не меньше 2 реплик до отказа, число успешных записей, число ошибок перехода и first_recovery_seconds не больше 10. Остановленный контейнер виден в ps как Exited. Вернуть его:
restore_api
curl -fsS "$BASE/health/ready"
10. Рестарт всего стенда, тот же токен и тот же файл
docker inspect messenger-lab4-api-1 messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} {{.State.StartedAt}}' > /tmp/started-before.txt
./scripts/restart.sh
until curl -fsS "$BASE/health/ready" >/dev/null; do sleep 1; done
docker inspect messenger-lab4-api-1 messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} {{.State.StartedAt}}' > /tmp/started-after.txt
echo '--- до ---'
cat /tmp/started-before.txt
echo '--- после ---'
cat /tmp/started-after.txt
docker volume ls --filter name=messenger-lab4
fetch GET "/api/v1/attachments/$ATT/content" -H "Authorization: Bearer $BOB_TOKEN"
cmp -s /tmp/demo.body tests/fixtures/sample.png && echo "после рестарта байты те же"
StartedAt у API, PostgreSQL, Redis и S3 изменился. Имена volumes те же: postgres-data, redis-data, s3-data. Боб читает тот же файл тем же токеном, входить заново не нужно. restart.sh после готовности ждёт ещё 5 с: master SeaweedFS отвечает раньше, чем чтение объекта стабильно укладывается в таймаут клиента.
Официальные проверки:
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test создаёт новых пользователей и сверяет checksum fixture. Persistence перезапускает стенд и читает оригинал прежним токеном теста.
11. Миграции, лимиты, закрытый bucket, нет файла на API
docker compose --env-file .env logs migrate | grep -E 'Run:|Previously run:'
docker compose --env-file .env exec postgres \
psql -U messenger -d messenger -c \
'select id, dateexecuted from databasechangelog order by orderexecuted;'
docker inspect messenger-lab4-api-1 messenger-lab4-api-2 messenger-lab4-lb-1 \
messenger-lab4-postgres-1 messenger-lab4-redis-1 messenger-lab4-s3-1 \
--format '{{.Name}} cpus_ns={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}} ports={{json .HostConfig.PortBindings}} mounts={{json .Mounts}}'
docker run --rm --network messenger-lab4_default curlimages/curl:8.11.1 \
-sS -o /dev/null -w 'анонимный S3 %{http_code}\n' -m 5 \
http://s3:8333/messenger-attachments/originals/does-not-matter
У migrate в логе Previously run: 6 и Run: 0. В databasechangelog шесть записей, последняя — вложения. У API ports пустые и mounts пустые: оригиналу некуда лечь на диск реплики. Наружу опубликован только 8080 у lb. Анонимный GET объекта — 403. В infra/s3.json два пользователя: messenger-api без Admin и messenger-bootstrap только для создания bucket. Объект без строки в базе старше двух минут убирает фоновая очистка.
12. Остановить
docker compose --env-file .env stop
Данные на volumes остаются. Снять контейнеры, сохранив данные: docker compose --env-file .env down. Удалить учебные данные: docker compose --env-file .env down -v.