forked from mtusi2026/mtusi2026lab4
Метаданные остаются в PostgreSQL, байты — в RustFS, чтобы скачивание пережило остановку одной реплики API.
69 lines
6.3 KiB
Markdown
69 lines
6.3 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Автор, группа: Самсонов Александр, БВТ2303
|
||
- Целевая оценка: 3
|
||
- Commit/PR: локально, до публикации
|
||
- Источники и помощь ИИ: контракт лабораторной, RustFS 1.0.4 как S3-совместимое хранилище (образы MinIO на Docker Hub к ноябрю 2026 недоступны), библиотека minio 7.2.15, перенос стенда lab3. Сборку сервера и проверки помог сделать ИИ в Cursor.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Нужны Docker Engine с Compose v2 и Python 3.9+ для публичных тестов. Образ API — Python 3.12.6. Проверка выполнена в WSL Ubuntu 22.04: Docker 29.1.3, Compose 2.40.3.
|
||
|
||
```sh
|
||
cp .env.example .env
|
||
chmod +x scripts/up.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh scripts/check-private-bucket.sh
|
||
docker compose --env-file .env -f compose.yaml up -d --build --scale api=2 --remove-orphans
|
||
```
|
||
|
||
Тот же запуск: `sh scripts/up.sh`. Дождитесь `GET http://127.0.0.1:8080/health/ready` → `{"status":"ok"}`.
|
||
|
||
Публичный порт только у `lb`: `127.0.0.1:8080`. У API и RustFS порты наружу не опубликованы. Миграции выполняет одноразовый `migrate`, приватный bucket создаёт одноразовый `s3-init` (`mc` не нужен: клиент S3 вызывает `make_bucket`, если bucket ещё нет). Повторный запуск bucket не публикует. Политика anonymous не ставится.
|
||
|
||
Остановка без удаления данных:
|
||
|
||
```sh
|
||
docker compose --env-file .env -f compose.yaml stop
|
||
```
|
||
|
||
Удаление учебных volumes:
|
||
|
||
```sh
|
||
docker compose --env-file .env -f compose.yaml down -v
|
||
```
|
||
|
||
После `scripts/stop-one.sh` остановленная реплика не поднимается сама. Вернуть её: `sh scripts/restore-api.sh`.
|
||
|
||
Образы: `python:3.12.6-slim-bookworm`, `postgres:16.6-bookworm`, `valkey/valkey:8.0.2`, `traefik:v3.7.16`, `rustfs/rustfs:1.0.4`.
|
||
|
||
## Архитектура
|
||
|
||
```
|
||
Клиент → Traefik → API ×2 → PostgreSQL (пользователи, чаты, сообщения, метаданные вложений)
|
||
→ Valkey (сессии, AOF)
|
||
→ RustFS (байты оригинала, volume s3data)
|
||
```
|
||
|
||
Из lab3 сохранены две реплики, общий PostgreSQL и Valkey, Traefik без sticky, `X-Instance-Id`, идемпотентность POST сообщения, drain по SIGTERM. API не хранит оригинал на своём диске: ключ объекта `o/<uuid>` назначает сервер, `filename` только в метаданных.
|
||
|
||
`/health/ready` отвечает 200, только если живы PostgreSQL, Valkey и bucket. Иначе 503, и Traefik перестаёт слать трафик на реплику. Период проверки Traefik — 1 с, timeout — 1 с, верхняя оценка исключения мёртвого backend — 2 с.
|
||
|
||
201 на загрузку возвращается после PUT в bucket и COMMIT строки `attachments`. Если запись в БД не прошла, процесс удаляет только что положенный объект. Если процесс умрёт между PUT и COMMIT, объект может остаться без строки в PostgreSQL: фонового сборщика мусора нет.
|
||
|
||
Лимит байт проверяется по `Content-Length` до чтения тела. Размеры PNG/JPEG читаются из IHDR/SOF, пиксели не распаковываются. Больше 10 MiB или 40 млн пикселей — 413. Не PNG/JPEG или несовпадение байтов и `Content-Type` — 415. Имя с `/`, `\` или управляющим символом — 400.
|
||
|
||
## Доказательства
|
||
|
||
| Критерий | Команда | Результат | Файл |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke, checksum, чужой пользователь | `python3 tests/smoke.py --base-url http://127.0.0.1:8080` | PASS | evidence/smoke.txt |
|
||
| Restart API, PostgreSQL, Valkey и RustFS, тот же токен и тот же файл | `python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080` | PASS | evidence/persistence.txt |
|
||
| Upload, остановка обслужившей реплики, чтение через другую | `python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080` | 2 реплики, 139 успешных записей, 4 ошибки, первое восстановление 3.63 с, PASS | evidence/failover.txt |
|
||
| Опасное имя, подмена MIME, 50 млн пикселей, чужой чат | `python3 scripts/grade3_extra.py --base-url http://127.0.0.1:8080` | PASS, коды 400/415/413/404 | evidence/grade3-extra.txt |
|
||
| Content-Length 10485761 при теле в 1 байт, прямо в API | `docker compose cp scripts/check_size_header.py api:/tmp/check_size_header.py` и `exec api python3 /tmp/check_size_header.py` | 413 за 0.001 с | evidence/grade3-extra.txt |
|
||
| Приватный bucket | `sh scripts/check-private-bucket.sh` | анонимный GET 403 | evidence/grade3-extra.txt |
|
||
| Недоступность S3 | `docker compose stop s3`, затем запрос `/health/ready` | 503; после `start s3` снова 200 | evidence/s3-down.txt |
|
||
|
||
## Ограничения
|
||
|
||
Уровень 4 не делался: нет отдельного пользователя S3 с урезанными правами, нет фоновой сверки осиротевших объектов, нет замера RAM на 10 одновременных загрузках. Консоль RustFS выключена (`RUSTFS_CONSOLE_ENABLE=false`) и наружу не опубликована. Один и тот же ключ из `.env` является корневым ключом RustFS и ключом API. Это учебный локальный стенд.
|