feat: заменить MinIO на SeaweedFS в compose и конфигурации

Co-authored-by: aider (deepseek/deepseek-chat) <aider@aider.chat>
This commit is contained in:
Evgeny Bushkov
2026-11-06 16:21:00 +03:00
co-authored by aider
parent 7608222a3e
commit a18a9bde16
5 changed files with 39 additions and 36 deletions
+4 -4
View File
@@ -11,7 +11,7 @@ SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_ENDPOINT=http://s3:8333
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
@@ -20,6 +20,6 @@ S3_USE_SSL=false
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
UPLOAD_CHUNK_SIZE=65536
# MinIO root credentials (только для локального стенда; не коммитить .env).
MINIO_ROOT_USER=minioadmin
MINIO_ROOT_PASSWORD=minioadmin-local-only
# SeaweedFS S3-шлюз credentials (только для локального стенда; не коммитить .env).
S3_ACCESS_KEY_ID=seaweedfs
S3_SECRET_ACCESS_KEY=seaweedfs-local-only
+11 -11
View File
@@ -3,7 +3,7 @@
- Автор, группа: TODO
- Целевая оценка: **4** (трек 5 не заявляется)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, MinIO, argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально.
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, SeaweedFS (S3-совместимое хранилище), argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально.
## Запуск из чистого clone
@@ -16,8 +16,8 @@ cp .env.example .env
mkdir -p secrets
printf 'postgresql+psycopg://messenger:messenger@postgres:5432/messenger' > secrets/database_url
printf 'redis://redis:6379/0' > secrets/cache_url
printf 'minioadmin' > secrets/s3_access_key_id
printf 'minioadmin-local-only' > secrets/s3_secret_access_key
printf 'seaweedfs' > secrets/s3_access_key_id
printf 'seaweedfs-local-only' > secrets/s3_secret_access_key
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
@@ -37,25 +37,25 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
Клиент → nginx (LB, :8080) → api-1 / api-2 (FastAPI)
├── PostgreSQL (метаданные: users, chats, messages, attachments, message_attachments, idempotency_keys)
├── Redis (кэш сессий, опционально)
└── MinIO (приватный bucket messenger-attachments, байты)
└── SeaweedFS (приватный bucket messenger-attachments, байты)
```
- **Источник истины**: PostgreSQL для метаданных, MinIO для байтов. API-реплики stateless — любая реплика читает файл из S3.
- **Источник истины**: PostgreSQL для метаданных, SeaweedFS для байтов. API-реплики stateless — любая реплика читает файл из S3.
- **Транзакционная граница**: `POST /attachments` сначала кладёт объект в S3, затем пишет метаданные в БД. При ошибке COMMIT — компенсация `delete_object` (best-effort). Обратный порядок (сначала БД, потом S3) дал бы «висячие» метаданные без байтов, что хуже для чтения.
- **Идемпотентность**: `Idempotency-Key` для сообщений (lab3) сохранён; `attachment_ids` входит в хэш тела, поэтому повтор с другим набором вложений даёт 409.
- **Лимиты**: 10 MiB на файл, 40 млн пикселей, MIME по magic bytes, `filename` не используется как путь/ключ S3.
- **Приватность bucket**: MinIO по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — root MinIO, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket).
- **Приватность bucket**: SeaweedFS S3-шлюз по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — учётные данные S3-шлюза, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket).
- **Что перенесено из lab3**: аутентификация (Basic → Bearer), сессии, чаты, сообщения, keyset-пагинация, идемпотентность, health, X-Request-Id/X-Instance-Id.
- **Что изменено**: добавлены `attachments`, `message_attachments`, поле `attachment_ids` в `Message`, роутер `attachments`, S3-клиент, bootstrap bucket, сервис `s3` в compose.
Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `MINIO_ROOT_USER/PASSWORD` — только для локального стенда.
Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY` — только для локального стенда SeaweedFS.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | PASS: lab4 public API scenario | `evidence/smoke.txt` |
| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `mc ls local/messenger-attachments` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` |
| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `docker compose exec s3 wget -qO- http://127.0.0.1:8333/` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` |
| POST вложения → 201 ready, оригинал скачивается побайтно | `python3 tests/test_attachments.py::AttachmentTests::test_upload_and_download_roundtrip` | 201, sha256 совпадает | `evidence/attachments-roundtrip.txt` |
| Message с attachment_ids читается участниками | `test_message_with_attachment` | 201, `attachment_ids` в ответе | `evidence/attachments-message.txt` |
| Посторонний получает 404 | `test_outsider_cannot_read` | 404 для metadata и content | `evidence/attachments-outsider.txt` |
@@ -66,8 +66,8 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
| Уровень 4: негативные тесты | `python3 tests/test_attachments.py` | все PASS | `evidence/attachments-all.txt` |
| Уровень 4: компенсация при сбое S3/БД | код `app/routers/attachments.py` (try/except + `delete_object`) | orphan не остаётся | `evidence/compensation.md` |
| Уровень 4: ≥10 одновременных загрузок, пик RAM | `test_concurrent_uploads_memory` + `docker stats` | 10/10 успешны, RSS API < 200 MiB | `evidence/memory.txt` |
| Уровень 4: идемпотентный bootstrap bucket | `docker compose up minio-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` |
| Уровень 4: приватный bucket вне API | `curl http://localhost:9000/messenger-attachments/<key>` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` |
| Уровень 4: идемпотентный bootstrap bucket | `docker compose up s3-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` |
| Уровень 4: приватный bucket вне API | `curl http://localhost:8333/messenger-attachments/<key>` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` |
## Эксперименты и отказы
@@ -95,6 +95,6 @@ python3 tests/test_attachments.py --base-url http://localhost:8080
## Ограничения и следующие шаги
- **Не реализовано**: presigned upload (трек 1), reconciler orphan/missing (трек 2), thumbnail/crop/optimized (lab5), HTTPS/mTLS (lab7).
- **Учебные упрощения**: MinIO root credentials используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting.
- **Учебные упрощения**: учётные данные S3-шлюза SeaweedFS используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting.
- **Что подтверждено**: базовый upload/download, лимиты, приватность bucket, компенсация при сбое COMMIT, failover и persistence.
- **Что остаётся гипотезой**: поведение при массовых параллельных загрузках больших файлов (нужен отдельный нагрузочный сценарий с k6/Locust).
+1 -1
View File
@@ -24,7 +24,7 @@ class Settings:
self.port = int(os.environ.get("APP_PORT", "8080"))
# S3 / MinIO
self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:9000")
self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333")
self.s3_region = os.environ.get("S3_REGION", "us-east-1")
self.s3_bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
self.s3_access_key_id = _read_secret("S3_ACCESS_KEY_ID", "S3_ACCESS_KEY_ID_FILE")
+20 -17
View File
@@ -25,30 +25,33 @@ services:
retries: 20
s3:
image: minio/minio:latest
command: ["server", "/data", "--console-address", ":9001"]
image: chrislusf/seaweedfs:3.71
# Один контейнер: master + volume + filer + S3-шлюз на :8333.
# -ip.bind=0.0.0.0 — чтобы S3-шлюз слушал все интерфейсы внутри сети compose.
command: ["server", "-dir=/data", "-s3", "-s3.port=8333", "-ip.bind=0.0.0.0"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minioadmin}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
# Учётные данные S3-шлюза SeaweedFS (см. документацию weed s3).
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
volumes:
- s3data:/data
healthcheck:
test: ["CMD", "mc", "ready", "local"]
test: ["CMD-SHELL", "wget -q -O- http://127.0.0.1:8333/ >/dev/null 2>&1 || exit 1"]
interval: 3s
timeout: 3s
retries: 30
minio-init:
s3-init:
image: python:3.12-slim
depends_on:
s3:
condition: service_healthy
environment:
S3_ENDPOINT: http://s3:9000
S3_ENDPOINT: http://s3:8333
S3_REGION: us-east-1
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
volumes:
- ./scripts/bootstrap_s3.py:/bootstrap_s3.py:ro
command: ["sh", "-c", "pip install --quiet boto3==1.35.76 && python /bootstrap_s3.py"]
@@ -61,11 +64,11 @@ services:
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
INSTANCE_ID: api-1
S3_ENDPOINT: http://s3:9000
S3_ENDPOINT: http://s3:8333
S3_REGION: us-east-1
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
MAX_UPLOAD_BYTES: "10485760"
MAX_IMAGE_PIXELS: "40000000"
depends_on:
@@ -75,7 +78,7 @@ services:
condition: service_healthy
s3:
condition: service_healthy
minio-init:
s3-init:
condition: service_completed_successfully
command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"]
@@ -86,11 +89,11 @@ services:
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
INSTANCE_ID: api-2
S3_ENDPOINT: http://s3:9000
S3_ENDPOINT: http://s3:8333
S3_REGION: us-east-1
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin}
S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only}
MAX_UPLOAD_BYTES: "10485760"
MAX_IMAGE_PIXELS: "40000000"
depends_on:
@@ -100,7 +103,7 @@ services:
condition: service_healthy
s3:
condition: service_healthy
minio-init:
s3-init:
condition: service_completed_successfully
command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"]
+3 -3
View File
@@ -1,7 +1,7 @@
#!/usr/bin/env python3
"""Идемпотентный bootstrap приватного bucket в MinIO.
"""Идемпотентный bootstrap приватного bucket в S3-совместимом хранилище.
Запускается как one-shot сервис в compose (minio-init) после старта MinIO.
Запускается как one-shot сервис в compose (s3-init) после старта SeaweedFS.
Создаёт bucket, если его нет. Политика приватности — по умолчанию (никаких
публичных ACL), поэтому отдельный set-bucket-policy не нужен.
"""
@@ -21,7 +21,7 @@ log = logging.getLogger("bootstrap_s3")
def _client():
return boto3.client(
"s3",
endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:9000"),
endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:8333"),
region_name=os.environ.get("S3_REGION", "us-east-1"),
aws_access_key_id=os.environ["S3_ACCESS_KEY_ID"],
aws_secret_access_key=os.environ["S3_SECRET_ACCESS_KEY"],