Метаданные остаются в PostgreSQL, байты — в RustFS, чтобы скачивание пережило остановку одной реплики API.
6.3 KiB
Отчёт — лабораторная 4
- Автор, группа: Самсонов Александр, БВТ2303
- Целевая оценка: 3
- Commit/PR: локально, до публикации
- Источники и помощь ИИ: контракт лабораторной, RustFS 1.0.4 как S3-совместимое хранилище (образы MinIO на Docker Hub к ноябрю 2026 недоступны), библиотека minio 7.2.15, перенос стенда lab3. Сборку сервера и проверки помог сделать ИИ в Cursor.
Запуск из чистого clone
Нужны Docker Engine с Compose v2 и Python 3.9+ для публичных тестов. Образ API — Python 3.12.6. Проверка выполнена в WSL Ubuntu 22.04: Docker 29.1.3, Compose 2.40.3.
cp .env.example .env
chmod +x scripts/up.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh scripts/check-private-bucket.sh
docker compose --env-file .env -f compose.yaml up -d --build --scale api=2 --remove-orphans
Тот же запуск: sh scripts/up.sh. Дождитесь GET http://127.0.0.1:8080/health/ready → {"status":"ok"}.
Публичный порт только у lb: 127.0.0.1:8080. У API и RustFS порты наружу не опубликованы. Миграции выполняет одноразовый migrate, приватный bucket создаёт одноразовый s3-init (mc не нужен: клиент S3 вызывает make_bucket, если bucket ещё нет). Повторный запуск bucket не публикует. Политика anonymous не ставится.
Остановка без удаления данных:
docker compose --env-file .env -f compose.yaml stop
Удаление учебных volumes:
docker compose --env-file .env -f compose.yaml down -v
После scripts/stop-one.sh остановленная реплика не поднимается сама. Вернуть её: sh scripts/restore-api.sh.
Образы: python:3.12.6-slim-bookworm, postgres:16.6-bookworm, valkey/valkey:8.0.2, traefik:v3.7.16, rustfs/rustfs:1.0.4.
Архитектура
Клиент → Traefik → API ×2 → PostgreSQL (пользователи, чаты, сообщения, метаданные вложений)
→ Valkey (сессии, AOF)
→ RustFS (байты оригинала, volume s3data)
Из lab3 сохранены две реплики, общий PostgreSQL и Valkey, Traefik без sticky, X-Instance-Id, идемпотентность POST сообщения, drain по SIGTERM. API не хранит оригинал на своём диске: ключ объекта o/<uuid> назначает сервер, filename только в метаданных.
/health/ready отвечает 200, только если живы PostgreSQL, Valkey и bucket. Иначе 503, и Traefik перестаёт слать трафик на реплику. Период проверки Traefik — 1 с, timeout — 1 с, верхняя оценка исключения мёртвого backend — 2 с.
201 на загрузку возвращается после PUT в bucket и COMMIT строки attachments. Если запись в БД не прошла, процесс удаляет только что положенный объект. Если процесс умрёт между PUT и COMMIT, объект может остаться без строки в PostgreSQL: фонового сборщика мусора нет.
Лимит байт проверяется по Content-Length до чтения тела. Размеры PNG/JPEG читаются из IHDR/SOF, пиксели не распаковываются. Больше 10 MiB или 40 млн пикселей — 413. Не PNG/JPEG или несовпадение байтов и Content-Type — 415. Имя с /, \ или управляющим символом — 400.
Доказательства
| Критерий | Команда | Результат | Файл |
|---|---|---|---|
| Публичный smoke, checksum, чужой пользователь | python3 tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS | evidence/smoke.txt |
| Restart API, PostgreSQL, Valkey и RustFS, тот же токен и тот же файл | python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080 |
PASS | evidence/persistence.txt |
| Upload, остановка обслужившей реплики, чтение через другую | python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080 |
2 реплики, 139 успешных записей, 4 ошибки, первое восстановление 3.63 с, PASS | evidence/failover.txt |
| Опасное имя, подмена MIME, 50 млн пикселей, чужой чат | python3 scripts/grade3_extra.py --base-url http://127.0.0.1:8080 |
PASS, коды 400/415/413/404 | evidence/grade3-extra.txt |
| Content-Length 10485761 при теле в 1 байт, прямо в API | docker compose cp scripts/check_size_header.py api:/tmp/check_size_header.py и exec api python3 /tmp/check_size_header.py |
413 за 0.001 с | evidence/grade3-extra.txt |
| Приватный bucket | sh scripts/check-private-bucket.sh |
анонимный GET 403 | evidence/grade3-extra.txt |
| Недоступность S3 | docker compose stop s3, затем запрос /health/ready |
503; после start s3 снова 200 |
evidence/s3-down.txt |
Ограничения
Уровень 4 не делался: нет отдельного пользователя S3 с урезанными правами, нет фоновой сверки осиротевших объектов, нет замера RAM на 10 одновременных загрузках. Консоль RustFS выключена (RUSTFS_CONSOLE_ENABLE=false) и наружу не опубликована. Один и тот же ключ из .env является корневым ключом RustFS и ключом API. Это учебный локальный стенд.