Files
samsik 11c8c03984 Собрать стенд lab4 с вложениями в приватном S3-bucket.
Метаданные остаются в PostgreSQL, байты — в RustFS, чтобы скачивание пережило остановку одной реплики API.
2026-11-06 08:49:44 +03:00

69 lines
6.3 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- Автор, группа: Самсонов Александр, БВТ2303
- Целевая оценка: 3
- Commit/PR: локально, до публикации
- Источники и помощь ИИ: контракт лабораторной, RustFS 1.0.4 как S3-совместимое хранилище (образы MinIO на Docker Hub к ноябрю 2026 недоступны), библиотека minio 7.2.15, перенос стенда lab3. Сборку сервера и проверки помог сделать ИИ в Cursor.
## Запуск из чистого clone
Нужны Docker Engine с Compose v2 и Python 3.9+ для публичных тестов. Образ API — Python 3.12.6. Проверка выполнена в WSL Ubuntu 22.04: Docker 29.1.3, Compose 2.40.3.
```sh
cp .env.example .env
chmod +x scripts/up.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh scripts/check-private-bucket.sh
docker compose --env-file .env -f compose.yaml up -d --build --scale api=2 --remove-orphans
```
Тот же запуск: `sh scripts/up.sh`. Дождитесь `GET http://127.0.0.1:8080/health/ready` → `{"status":"ok"}`.
Публичный порт только у `lb`: `127.0.0.1:8080`. У API и RustFS порты наружу не опубликованы. Миграции выполняет одноразовый `migrate`, приватный bucket создаёт одноразовый `s3-init` (`mc` не нужен: клиент S3 вызывает `make_bucket`, если bucket ещё нет). Повторный запуск bucket не публикует. Политика anonymous не ставится.
Остановка без удаления данных:
```sh
docker compose --env-file .env -f compose.yaml stop
```
Удаление учебных volumes:
```sh
docker compose --env-file .env -f compose.yaml down -v
```
После `scripts/stop-one.sh` остановленная реплика не поднимается сама. Вернуть её: `sh scripts/restore-api.sh`.
Образы: `python:3.12.6-slim-bookworm`, `postgres:16.6-bookworm`, `valkey/valkey:8.0.2`, `traefik:v3.7.16`, `rustfs/rustfs:1.0.4`.
## Архитектура
```
Клиент → Traefik → API ×2 → PostgreSQL (пользователи, чаты, сообщения, метаданные вложений)
→ Valkey (сессии, AOF)
→ RustFS (байты оригинала, volume s3data)
```
Из lab3 сохранены две реплики, общий PostgreSQL и Valkey, Traefik без sticky, `X-Instance-Id`, идемпотентность POST сообщения, drain по SIGTERM. API не хранит оригинал на своём диске: ключ объекта `o/<uuid>` назначает сервер, `filename` только в метаданных.
`/health/ready` отвечает 200, только если живы PostgreSQL, Valkey и bucket. Иначе 503, и Traefik перестаёт слать трафик на реплику. Период проверки Traefik — 1 с, timeout — 1 с, верхняя оценка исключения мёртвого backend — 2 с.
201 на загрузку возвращается после PUT в bucket и COMMIT строки `attachments`. Если запись в БД не прошла, процесс удаляет только что положенный объект. Если процесс умрёт между PUT и COMMIT, объект может остаться без строки в PostgreSQL: фонового сборщика мусора нет.
Лимит байт проверяется по `Content-Length` до чтения тела. Размеры PNG/JPEG читаются из IHDR/SOF, пиксели не распаковываются. Больше 10 MiB или 40 млн пикселей — 413. Не PNG/JPEG или несовпадение байтов и `Content-Type` — 415. Имя с `/`, `\` или управляющим символом — 400.
## Доказательства
| Критерий | Команда | Результат | Файл |
| --- | --- | --- | --- |
| Публичный smoke, checksum, чужой пользователь | `python3 tests/smoke.py --base-url http://127.0.0.1:8080` | PASS | evidence/smoke.txt |
| Restart API, PostgreSQL, Valkey и RustFS, тот же токен и тот же файл | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080` | PASS | evidence/persistence.txt |
| Upload, остановка обслужившей реплики, чтение через другую | `python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080` | 2 реплики, 139 успешных записей, 4 ошибки, первое восстановление 3.63 с, PASS | evidence/failover.txt |
| Опасное имя, подмена MIME, 50 млн пикселей, чужой чат | `python3 scripts/grade3_extra.py --base-url http://127.0.0.1:8080` | PASS, коды 400/415/413/404 | evidence/grade3-extra.txt |
| Content-Length 10485761 при теле в 1 байт, прямо в API | `docker compose cp scripts/check_size_header.py api:/tmp/check_size_header.py` и `exec api python3 /tmp/check_size_header.py` | 413 за 0.001 с | evidence/grade3-extra.txt |
| Приватный bucket | `sh scripts/check-private-bucket.sh` | анонимный GET 403 | evidence/grade3-extra.txt |
| Недоступность S3 | `docker compose stop s3`, затем запрос `/health/ready` | 503; после `start s3` снова 200 | evidence/s3-down.txt |
## Ограничения
Уровень 4 не делался: нет отдельного пользователя S3 с урезанными правами, нет фоновой сверки осиротевших объектов, нет замера RAM на 10 одновременных загрузках. Консоль RustFS выключена (`RUSTFS_CONSOLE_ENABLE=false`) и наружу не опубликована. Один и тот же ключ из `.env` является корневым ключом RustFS и ключом API. Это учебный локальный стенд.