- S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket, отдельные ограниченные ключи API, служебные порты закрыты; идемпотентный s3-init с проверкой приватности и прогревом записи - вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс, тип по содержимому, проверка filename, скачивание только участникам - согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper с grace и dry-run; attachment_ids в сообщениях, FK по чату - back-pressure на S3 PUT после найденного OOM SeaweedFS - тесты student-tests, evidence, REPORT.md, DEMO.md
8.5 KiB
Демонстрация лабораторной 4 на защите
Сценарий повторяет «Сценарий защиты» из README: загрузка и скачивание вторым участником со сравнением SHA-256, 404 постороннему и отказ анонимного S3, persistence/failover, отсутствие локального файла на API, затем отказы и эксперименты уровня 4.
Важно: команды выполняются по порядку в одном окне терминала — переменные B, TA, TB, TE, CHAT, ATT и функции j, pg, mkuser живут только в нём.
0. Подготовка: чистый clone
(cd ~/Desktop/вуз/ВНП/lab4/mtusi2026lab4 && docker compose stop)
git clone -b solution/bvt2304-koshelev ssh://git@gitea.privcloud.tech:2222/Iicon18/mtusi2026lab4.git ~/Desktop/lab4-demo
cd ~/Desktop/lab4-demo && export COMPOSE_PROJECT_NAME=lab4-demo && cp .env.example .env
Если 8080 занят, поменять APP_PORT в .env (у меня 8088):
B=http://127.0.0.1:$(sed -n 's/^APP_PORT=//p' .env); echo "$B"
j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
Сказать: «Свежий clone в отдельный compose-проект: новые пустые volumes
pgdataиs3data. Секреты и.envне в Git».
1. Секреты и запуск
make secrets && ls secrets/
«Две пары S3-ключей:
s3_admin_*нужен только one-shot сервисуs3-initдля создания bucket,s3_access_key_*— для API с правами Read/Write/List только на один bucket.seaweedfs_s3.json— конфигурация identities для SeaweedFS».
docker compose --env-file .env config --quiet && docker compose --env-file .env up -d --build --wait
docker compose ps -a --format 'table {{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}'
«Порт опубликован только у
lb. Уs3портов на хосте нет.migrateиs3-init— one-shot, завершились с кодом 0».
docker compose logs --no-log-prefix migrate s3-init
«Bucket создан, анонимный доступ проверен и запрещён, запись прогрета. API стартует только после успеха
s3-init».
2. Публичный smoke
make test BASE_URL=$B
3. Загрузка, сообщение, скачивание вторым участником, SHA-256
mkuser() { curl -s -X POST $B/api/v1/users -H 'Content-Type: application/json' -d "{\"username\":\"$1_$RANDOM\",\"display_name\":\"$1\",\"password\":\"Demo-password-123\"}"; }
login() { curl -s -X POST $B/api/v1/auth/sessions -u "$1:Demo-password-123" | j token; }
UA=$(mkuser alice); UB=$(mkuser bob); UE=$(mkuser eve)
A=$(echo "$UA" | j id); Bo=$(echo "$UB" | j id)
TA=$(login $(echo "$UA" | j username)); TB=$(login $(echo "$UB" | j username)); TE=$(login $(echo "$UE" | j username))
CHAT=$(curl -s -X POST $B/api/v1/chats -H "Authorization: Bearer $TA" -H 'Content-Type: application/json' -d "{\"title\":\"Демо\",\"member_ids\":[\"$A\",\"$Bo\"]}" | j id); echo "$CHAT"
curl -s -i -X POST "$B/api/v1/chats/$CHAT/attachments?filename=sample.png" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @tests/fixtures/sample.png | tee /tmp/att.txt | sed -n '1p;/^X-Instance-Id/p;$p'
ATT=$(tail -1 /tmp/att.txt | j id)
«201,
status=ready,variants=[]. 201 возвращается только после того, как S3 подтвердил PUT (и сам сверил SHA-256) и в PostgreSQL зафиксированready».
curl -s -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
curl -s $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB" | shasum -a 256; shasum -a 256 tests/fixtures/sample.png
4. Посторонний и прямой доступ к S3
for s in "" /content; do curl -s -o /dev/null -w "eve $s -> %{http_code}\n" $B/api/v1/attachments/$ATT$s -H "Authorization: Bearer $TE"; done
make test-s3-security BASE_URL=$B
«Анонимный GET объекта по настоящему ключу изнутри сети — 403. Ключами API нельзя создать bucket, повесить публичную policy или ACL. Служебные порты SeaweedFS (master/filer/volume) слушают только loopback. Но случайный ключ и приватный bucket не заменяют ACL приложения: API всё равно проверяет членство в чате при каждом скачивании».
pg "SELECT id, filename, object_key, status FROM attachments WHERE id='$ATT'"
«
object_key— случайный, его генерирует сервер;filenameтолько для отображения».
5. На API нет локального оригинала; failover и persistence
docker compose config --format json | python3 -c 'import json,sys; print("api volumes:", json.load(sys.stdin)["services"]["api"].get("volumes"))'
make test-upload-failover BASE_URL=$B
«Каждый раунд останавливает именно ту реплику, которая приняла файл, и скачивает через другую».
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=$B; ./scripts/restore.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=$B
6. Уровень 4: ошибки, отказы, память
make test-attachments BASE_URL=$B | tail -25
«Большой файл 413 (и с Content-Length, и chunked), пиксельная бомба 413 до декодирования, повреждённые и подменённые файлы 415, чужое вложение 404, опасные имена 400; ни одного 500».
make test-consistency BASE_URL=$B
«S3 остановлен — upload 503, сообщения и readiness работают. Обрыв загрузки не оставляет ничего. Sweeper: dry-run только отчитывается, реальный проход удаляет внедрённые старые pending/orphan, свежие и ready не трогает, повтор — пустой».
make memory BASE_URL=$B | python3 -c 'import json,sys; d=json.load(sys.stdin); print(d["statuses"], {k: v["delta_anon"] for k, v in d["memory_mib"].items()})'
«10 одновременных загрузок по 9.6 MiB: прирост памяти API ~35 MiB и почти не меняется при 20 и 40 — тело идёт потоком в spool. Таблица и найденный OOM SeaweedFS — в REPORT.md».
Ответы на вопросы
- Файл в volume API ≠ объектное хранилище: volume привязан к одному контейнеру — другая реплика его не видит, при пересоздании контейнера он теряется. S3 — общий сервис со своим volume и API для всех реплик.
- Когда честно вернуть 201: после подтверждённого S3 PUT с проверкой checksum и COMMIT
readyв PostgreSQL. - S3 PUT прошёл, COMMIT нет: pending-строка + объект; API пытается удалить объект сразу, а sweeper через grace удаляет и строку, и объект. Клиент получил 503, а не 201.
- Почему случайный ключ и приватный bucket не заменяют ACL: ключ может утечь (логи, подписанные URL), а участники чата меняются по смыслу приложения — право читать определяется членством в чате, которое знает только API.
Уборка
docker compose down -v && cd ~ && rm -rf ~/Desktop/lab4-demo