feat: заменить MinIO на SeaweedFS в compose и конфигурации
Co-authored-by: aider (deepseek/deepseek-chat) <aider@aider.chat>
This commit is contained in:
+4
-4
@@ -11,7 +11,7 @@ SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_ENDPOINT=http://s3:8333
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
@@ -20,6 +20,6 @@ S3_USE_SSL=false
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
UPLOAD_CHUNK_SIZE=65536
|
||||
# MinIO root credentials (только для локального стенда; не коммитить .env).
|
||||
MINIO_ROOT_USER=minioadmin
|
||||
MINIO_ROOT_PASSWORD=minioadmin-local-only
|
||||
# SeaweedFS S3-шлюз credentials (только для локального стенда; не коммитить .env).
|
||||
S3_ACCESS_KEY_ID=seaweedfs
|
||||
S3_SECRET_ACCESS_KEY=seaweedfs-local-only
|
||||
|
||||
@@ -3,7 +3,7 @@
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка: **4** (трек 5 не заявляется)
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, MinIO, argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально.
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, SeaweedFS (S3-совместимое хранилище), argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
@@ -16,8 +16,8 @@ cp .env.example .env
|
||||
mkdir -p secrets
|
||||
printf 'postgresql+psycopg://messenger:messenger@postgres:5432/messenger' > secrets/database_url
|
||||
printf 'redis://redis:6379/0' > secrets/cache_url
|
||||
printf 'minioadmin' > secrets/s3_access_key_id
|
||||
printf 'minioadmin-local-only' > secrets/s3_secret_access_key
|
||||
printf 'seaweedfs' > secrets/s3_access_key_id
|
||||
printf 'seaweedfs-local-only' > secrets/s3_secret_access_key
|
||||
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
@@ -37,25 +37,25 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
|
||||
Клиент → nginx (LB, :8080) → api-1 / api-2 (FastAPI)
|
||||
├── PostgreSQL (метаданные: users, chats, messages, attachments, message_attachments, idempotency_keys)
|
||||
├── Redis (кэш сессий, опционально)
|
||||
└── MinIO (приватный bucket messenger-attachments, байты)
|
||||
└── SeaweedFS (приватный bucket messenger-attachments, байты)
|
||||
```
|
||||
|
||||
- **Источник истины**: PostgreSQL для метаданных, MinIO для байтов. API-реплики stateless — любая реплика читает файл из S3.
|
||||
- **Источник истины**: PostgreSQL для метаданных, SeaweedFS для байтов. API-реплики stateless — любая реплика читает файл из S3.
|
||||
- **Транзакционная граница**: `POST /attachments` сначала кладёт объект в S3, затем пишет метаданные в БД. При ошибке COMMIT — компенсация `delete_object` (best-effort). Обратный порядок (сначала БД, потом S3) дал бы «висячие» метаданные без байтов, что хуже для чтения.
|
||||
- **Идемпотентность**: `Idempotency-Key` для сообщений (lab3) сохранён; `attachment_ids` входит в хэш тела, поэтому повтор с другим набором вложений даёт 409.
|
||||
- **Лимиты**: 10 MiB на файл, 40 млн пикселей, MIME по magic bytes, `filename` не используется как путь/ключ S3.
|
||||
- **Приватность bucket**: MinIO по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — root MinIO, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket).
|
||||
- **Приватность bucket**: SeaweedFS S3-шлюз по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — учётные данные S3-шлюза, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket).
|
||||
- **Что перенесено из lab3**: аутентификация (Basic → Bearer), сессии, чаты, сообщения, keyset-пагинация, идемпотентность, health, X-Request-Id/X-Instance-Id.
|
||||
- **Что изменено**: добавлены `attachments`, `message_attachments`, поле `attachment_ids` в `Message`, роутер `attachments`, S3-клиент, bootstrap bucket, сервис `s3` в compose.
|
||||
|
||||
Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `MINIO_ROOT_USER/PASSWORD` — только для локального стенда.
|
||||
Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY` — только для локального стенда SeaweedFS.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | PASS: lab4 public API scenario | `evidence/smoke.txt` |
|
||||
| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `mc ls local/messenger-attachments` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` |
|
||||
| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `docker compose exec s3 wget -qO- http://127.0.0.1:8333/` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` |
|
||||
| POST вложения → 201 ready, оригинал скачивается побайтно | `python3 tests/test_attachments.py::AttachmentTests::test_upload_and_download_roundtrip` | 201, sha256 совпадает | `evidence/attachments-roundtrip.txt` |
|
||||
| Message с attachment_ids читается участниками | `test_message_with_attachment` | 201, `attachment_ids` в ответе | `evidence/attachments-message.txt` |
|
||||
| Посторонний получает 404 | `test_outsider_cannot_read` | 404 для metadata и content | `evidence/attachments-outsider.txt` |
|
||||
@@ -66,8 +66,8 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
|
||||
| Уровень 4: негативные тесты | `python3 tests/test_attachments.py` | все PASS | `evidence/attachments-all.txt` |
|
||||
| Уровень 4: компенсация при сбое S3/БД | код `app/routers/attachments.py` (try/except + `delete_object`) | orphan не остаётся | `evidence/compensation.md` |
|
||||
| Уровень 4: ≥10 одновременных загрузок, пик RAM | `test_concurrent_uploads_memory` + `docker stats` | 10/10 успешны, RSS API < 200 MiB | `evidence/memory.txt` |
|
||||
| Уровень 4: идемпотентный bootstrap bucket | `docker compose up minio-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` |
|
||||
| Уровень 4: приватный bucket вне API | `curl http://localhost:9000/messenger-attachments/<key>` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` |
|
||||
| Уровень 4: идемпотентный bootstrap bucket | `docker compose up s3-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` |
|
||||
| Уровень 4: приватный bucket вне API | `curl http://localhost:8333/messenger-attachments/<key>` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
@@ -95,6 +95,6 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Не реализовано**: presigned upload (трек 1), reconciler orphan/missing (трек 2), thumbnail/crop/optimized (lab5), HTTPS/mTLS (lab7).
|
||||
- **Учебные упрощения**: MinIO root credentials используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting.
|
||||
- **Учебные упрощения**: учётные данные S3-шлюза SeaweedFS используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting.
|
||||
- **Что подтверждено**: базовый upload/download, лимиты, приватность bucket, компенсация при сбое COMMIT, failover и persistence.
|
||||
- **Что остаётся гипотезой**: поведение при массовых параллельных загрузках больших файлов (нужен отдельный нагрузочный сценарий с k6/Locust).
|
||||
|
||||
+1
-1
@@ -24,7 +24,7 @@ class Settings:
|
||||
self.port = int(os.environ.get("APP_PORT", "8080"))
|
||||
|
||||
# S3 / MinIO
|
||||
self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:9000")
|
||||
self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333")
|
||||
self.s3_region = os.environ.get("S3_REGION", "us-east-1")
|
||||
self.s3_bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
||||
self.s3_access_key_id = _read_secret("S3_ACCESS_KEY_ID", "S3_ACCESS_KEY_ID_FILE")
|
||||
|
||||
+20
-17
@@ -25,30 +25,33 @@ services:
|
||||
retries: 20
|
||||
|
||||
s3:
|
||||
image: minio/minio:latest
|
||||
command: ["server", "/data", "--console-address", ":9001"]
|
||||
image: chrislusf/seaweedfs:3.71
|
||||
# Один контейнер: master + volume + filer + S3-шлюз на :8333.
|
||||
# -ip.bind=0.0.0.0 — чтобы S3-шлюз слушал все интерфейсы внутри сети compose.
|
||||
command: ["server", "-dir=/data", "-s3", "-s3.port=8333", "-ip.bind=0.0.0.0"]
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minioadmin}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
|
||||
# Учётные данные S3-шлюза SeaweedFS (см. документацию weed s3).
|
||||
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
|
||||
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
|
||||
volumes:
|
||||
- s3data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "mc", "ready", "local"]
|
||||
test: ["CMD-SHELL", "wget -q -O- http://127.0.0.1:8333/ >/dev/null 2>&1 || exit 1"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
|
||||
minio-init:
|
||||
s3-init:
|
||||
image: python:3.12-slim
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
environment:
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
|
||||
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
|
||||
volumes:
|
||||
- ./scripts/bootstrap_s3.py:/bootstrap_s3.py:ro
|
||||
command: ["sh", "-c", "pip install --quiet boto3==1.35.76 && python /bootstrap_s3.py"]
|
||||
@@ -61,11 +64,11 @@ services:
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
INSTANCE_ID: api-1
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
|
||||
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
|
||||
MAX_UPLOAD_BYTES: "10485760"
|
||||
MAX_IMAGE_PIXELS: "40000000"
|
||||
depends_on:
|
||||
@@ -75,7 +78,7 @@ services:
|
||||
condition: service_healthy
|
||||
s3:
|
||||
condition: service_healthy
|
||||
minio-init:
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"]
|
||||
|
||||
@@ -86,11 +89,11 @@ services:
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
INSTANCE_ID: api-2
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
|
||||
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
|
||||
MAX_UPLOAD_BYTES: "10485760"
|
||||
MAX_IMAGE_PIXELS: "40000000"
|
||||
depends_on:
|
||||
@@ -100,7 +103,7 @@ services:
|
||||
condition: service_healthy
|
||||
s3:
|
||||
condition: service_healthy
|
||||
minio-init:
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"]
|
||||
|
||||
|
||||
@@ -1,7 +1,7 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Идемпотентный bootstrap приватного bucket в MinIO.
|
||||
"""Идемпотентный bootstrap приватного bucket в S3-совместимом хранилище.
|
||||
|
||||
Запускается как one-shot сервис в compose (minio-init) после старта MinIO.
|
||||
Запускается как one-shot сервис в compose (s3-init) после старта SeaweedFS.
|
||||
Создаёт bucket, если его нет. Политика приватности — по умолчанию (никаких
|
||||
публичных ACL), поэтому отдельный set-bucket-policy не нужен.
|
||||
"""
|
||||
@@ -21,7 +21,7 @@ log = logging.getLogger("bootstrap_s3")
|
||||
def _client():
|
||||
return boto3.client(
|
||||
"s3",
|
||||
endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:9000"),
|
||||
endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:8333"),
|
||||
region_name=os.environ.get("S3_REGION", "us-east-1"),
|
||||
aws_access_key_id=os.environ["S3_ACCESS_KEY_ID"],
|
||||
aws_secret_access_key=os.environ["S3_SECRET_ACCESS_KEY"],
|
||||
|
||||
Reference in New Issue
Block a user