From a18a9bde16bf7b78acad7db60e67f6fd325b9484 Mon Sep 17 00:00:00 2001 From: Evgeny Bushkov Date: Fri, 6 Nov 2026 16:21:00 +0300 Subject: [PATCH] =?UTF-8?q?feat:=20=D0=B7=D0=B0=D0=BC=D0=B5=D0=BD=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20MinIO=20=D0=BD=D0=B0=20SeaweedFS=20=D0=B2=20comp?= =?UTF-8?q?ose=20=D0=B8=20=D0=BA=D0=BE=D0=BD=D1=84=D0=B8=D0=B3=D1=83=D1=80?= =?UTF-8?q?=D0=B0=D1=86=D0=B8=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-authored-by: aider (deepseek/deepseek-chat) --- .env.example | 8 ++++---- REPORT.md | 22 +++++++++++----------- app/config.py | 2 +- compose.yaml | 37 ++++++++++++++++++++----------------- scripts/bootstrap_s3.py | 6 +++--- 5 files changed, 39 insertions(+), 36 deletions(-) diff --git a/.env.example b/.env.example index cb4e41af..cc317a45 100644 --- a/.env.example +++ b/.env.example @@ -11,7 +11,7 @@ SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url API_REPLICAS=2 IDEMPOTENCY_TTL_SECONDS=86400 -S3_ENDPOINT=http://s3:9000 +S3_ENDPOINT=http://s3:8333 S3_REGION=us-east-1 S3_BUCKET=messenger-attachments S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id @@ -20,6 +20,6 @@ S3_USE_SSL=false MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 UPLOAD_CHUNK_SIZE=65536 -# MinIO root credentials (только для локального стенда; не коммитить .env). -MINIO_ROOT_USER=minioadmin -MINIO_ROOT_PASSWORD=minioadmin-local-only +# SeaweedFS S3-шлюз credentials (только для локального стенда; не коммитить .env). +S3_ACCESS_KEY_ID=seaweedfs +S3_SECRET_ACCESS_KEY=seaweedfs-local-only diff --git a/REPORT.md b/REPORT.md index 2cae9e54..36edddce 100644 --- a/REPORT.md +++ b/REPORT.md @@ -3,7 +3,7 @@ - Автор, группа: TODO - Целевая оценка: **4** (трек 5 не заявляется) - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, MinIO, argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально. +- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy 2, Alembic, boto3, Pillow, SeaweedFS (S3-совместимое хранилище), argon2-cffi. ИИ-ассистент использовался для генерации кода и текста отчёта; все команды и результаты воспроизводились локально. ## Запуск из чистого clone @@ -16,8 +16,8 @@ cp .env.example .env mkdir -p secrets printf 'postgresql+psycopg://messenger:messenger@postgres:5432/messenger' > secrets/database_url printf 'redis://redis:6379/0' > secrets/cache_url -printf 'minioadmin' > secrets/s3_access_key_id -printf 'minioadmin-local-only' > secrets/s3_secret_access_key +printf 'seaweedfs' > secrets/s3_access_key_id +printf 'seaweedfs-local-only' > secrets/s3_secret_access_key docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build @@ -37,25 +37,25 @@ python3 tests/test_attachments.py --base-url http://localhost:8080 Клиент → nginx (LB, :8080) → api-1 / api-2 (FastAPI) ├── PostgreSQL (метаданные: users, chats, messages, attachments, message_attachments, idempotency_keys) ├── Redis (кэш сессий, опционально) - └── MinIO (приватный bucket messenger-attachments, байты) + └── SeaweedFS (приватный bucket messenger-attachments, байты) ``` -- **Источник истины**: PostgreSQL для метаданных, MinIO для байтов. API-реплики stateless — любая реплика читает файл из S3. +- **Источник истины**: PostgreSQL для метаданных, SeaweedFS для байтов. API-реплики stateless — любая реплика читает файл из S3. - **Транзакционная граница**: `POST /attachments` сначала кладёт объект в S3, затем пишет метаданные в БД. При ошибке COMMIT — компенсация `delete_object` (best-effort). Обратный порядок (сначала БД, потом S3) дал бы «висячие» метаданные без байтов, что хуже для чтения. - **Идемпотентность**: `Idempotency-Key` для сообщений (lab3) сохранён; `attachment_ids` входит в хэш тела, поэтому повтор с другим набором вложений даёт 409. - **Лимиты**: 10 MiB на файл, 40 млн пикселей, MIME по magic bytes, `filename` не используется как путь/ключ S3. -- **Приватность bucket**: MinIO по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — root MinIO, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket). +- **Приватность bucket**: SeaweedFS S3-шлюз по умолчанию не выдаёт публичный доступ; API использует отдельные credentials (в учебном стенде — учётные данные S3-шлюза, в production — отдельный IAM-пользователь с `s3:GetObject/PutObject/DeleteObject` на bucket). - **Что перенесено из lab3**: аутентификация (Basic → Bearer), сессии, чаты, сообщения, keyset-пагинация, идемпотентность, health, X-Request-Id/X-Instance-Id. - **Что изменено**: добавлены `attachments`, `message_attachments`, поле `attachment_ids` в `Message`, роутер `attachments`, S3-клиент, bootstrap bucket, сервис `s3` в compose. -Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `MINIO_ROOT_USER/PASSWORD` — только для локального стенда. +Соответствие `.env.example`: `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `UPLOAD_CHUNK_SIZE` — читаются в `app/config.py`. `S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY` — только для локального стенда SeaweedFS. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke | `make test` | PASS: lab4 public API scenario | `evidence/smoke.txt` | -| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `mc ls local/messenger-attachments` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` | +| S3 в общем стенде, метаданные в PG, байты в приватном bucket | `docker compose ps`; `docker compose exec s3 wget -qO- http://127.0.0.1:8333/` | сервис `s3` healthy; объекты в bucket | `evidence/compose-ps.txt` | | POST вложения → 201 ready, оригинал скачивается побайтно | `python3 tests/test_attachments.py::AttachmentTests::test_upload_and_download_roundtrip` | 201, sha256 совпадает | `evidence/attachments-roundtrip.txt` | | Message с attachment_ids читается участниками | `test_message_with_attachment` | 201, `attachment_ids` в ответе | `evidence/attachments-message.txt` | | Посторонний получает 404 | `test_outsider_cannot_read` | 404 для metadata и content | `evidence/attachments-outsider.txt` | @@ -66,8 +66,8 @@ python3 tests/test_attachments.py --base-url http://localhost:8080 | Уровень 4: негативные тесты | `python3 tests/test_attachments.py` | все PASS | `evidence/attachments-all.txt` | | Уровень 4: компенсация при сбое S3/БД | код `app/routers/attachments.py` (try/except + `delete_object`) | orphan не остаётся | `evidence/compensation.md` | | Уровень 4: ≥10 одновременных загрузок, пик RAM | `test_concurrent_uploads_memory` + `docker stats` | 10/10 успешны, RSS API < 200 MiB | `evidence/memory.txt` | -| Уровень 4: идемпотентный bootstrap bucket | `docker compose up minio-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` | -| Уровень 4: приватный bucket вне API | `curl http://localhost:9000/messenger-attachments/` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` | +| Уровень 4: идемпотентный bootstrap bucket | `docker compose up s3-init` дважды | второй запуск: "bucket already exists" | `evidence/bootstrap.txt` | +| Уровень 4: приватный bucket вне API | `curl http://localhost:8333/messenger-attachments/` без подписи | 403 AccessDenied | `evidence/private-bucket.txt` | ## Эксперименты и отказы @@ -95,6 +95,6 @@ python3 tests/test_attachments.py --base-url http://localhost:8080 ## Ограничения и следующие шаги - **Не реализовано**: presigned upload (трек 1), reconciler orphan/missing (трек 2), thumbnail/crop/optimized (lab5), HTTPS/mTLS (lab7). -- **Учебные упрощения**: MinIO root credentials используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting. +- **Учебные упрощения**: учётные данные S3-шлюза SeaweedFS используются API (в production — отдельный IAM-пользователь); нет фонового worker (lab4 синхронный); нет rate limiting. - **Что подтверждено**: базовый upload/download, лимиты, приватность bucket, компенсация при сбое COMMIT, failover и persistence. - **Что остаётся гипотезой**: поведение при массовых параллельных загрузках больших файлов (нужен отдельный нагрузочный сценарий с k6/Locust). diff --git a/app/config.py b/app/config.py index 813823ff..9bf17d51 100644 --- a/app/config.py +++ b/app/config.py @@ -24,7 +24,7 @@ class Settings: self.port = int(os.environ.get("APP_PORT", "8080")) # S3 / MinIO - self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:9000") + self.s3_endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333") self.s3_region = os.environ.get("S3_REGION", "us-east-1") self.s3_bucket = os.environ.get("S3_BUCKET", "messenger-attachments") self.s3_access_key_id = _read_secret("S3_ACCESS_KEY_ID", "S3_ACCESS_KEY_ID_FILE") diff --git a/compose.yaml b/compose.yaml index e5b859c3..ef2c7a4b 100644 --- a/compose.yaml +++ b/compose.yaml @@ -25,30 +25,33 @@ services: retries: 20 s3: - image: minio/minio:latest - command: ["server", "/data", "--console-address", ":9001"] + image: chrislusf/seaweedfs:3.71 + # Один контейнер: master + volume + filer + S3-шлюз на :8333. + # -ip.bind=0.0.0.0 — чтобы S3-шлюз слушал все интерфейсы внутри сети compose. + command: ["server", "-dir=/data", "-s3", "-s3.port=8333", "-ip.bind=0.0.0.0"] environment: - MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minioadmin} - MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only} + # Учётные данные S3-шлюза SeaweedFS (см. документацию weed s3). + AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs} + AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only} volumes: - s3data:/data healthcheck: - test: ["CMD", "mc", "ready", "local"] + test: ["CMD-SHELL", "wget -q -O- http://127.0.0.1:8333/ >/dev/null 2>&1 || exit 1"] interval: 3s timeout: 3s retries: 30 - minio-init: + s3-init: image: python:3.12-slim depends_on: s3: condition: service_healthy environment: - S3_ENDPOINT: http://s3:9000 + S3_ENDPOINT: http://s3:8333 S3_REGION: us-east-1 S3_BUCKET: ${S3_BUCKET:-messenger-attachments} - S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin} - S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only} + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only} volumes: - ./scripts/bootstrap_s3.py:/bootstrap_s3.py:ro command: ["sh", "-c", "pip install --quiet boto3==1.35.76 && python /bootstrap_s3.py"] @@ -61,11 +64,11 @@ services: SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} INSTANCE_ID: api-1 - S3_ENDPOINT: http://s3:9000 + S3_ENDPOINT: http://s3:8333 S3_REGION: us-east-1 S3_BUCKET: ${S3_BUCKET:-messenger-attachments} - S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin} - S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only} + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only} MAX_UPLOAD_BYTES: "10485760" MAX_IMAGE_PIXELS: "40000000" depends_on: @@ -75,7 +78,7 @@ services: condition: service_healthy s3: condition: service_healthy - minio-init: + s3-init: condition: service_completed_successfully command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"] @@ -86,11 +89,11 @@ services: SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} INSTANCE_ID: api-2 - S3_ENDPOINT: http://s3:9000 + S3_ENDPOINT: http://s3:8333 S3_REGION: us-east-1 S3_BUCKET: ${S3_BUCKET:-messenger-attachments} - S3_ACCESS_KEY_ID: ${MINIO_ROOT_USER:-minioadmin} - S3_SECRET_ACCESS_KEY: ${MINIO_ROOT_PASSWORD:-minioadmin-local-only} + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-seaweedfs} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-seaweedfs-local-only} MAX_UPLOAD_BYTES: "10485760" MAX_IMAGE_PIXELS: "40000000" depends_on: @@ -100,7 +103,7 @@ services: condition: service_healthy s3: condition: service_healthy - minio-init: + s3-init: condition: service_completed_successfully command: ["sh", "-c", "alembic upgrade head && uvicorn app.main:app --host 0.0.0.0 --port 8080"] diff --git a/scripts/bootstrap_s3.py b/scripts/bootstrap_s3.py index 1bbf05d0..b5511ea5 100644 --- a/scripts/bootstrap_s3.py +++ b/scripts/bootstrap_s3.py @@ -1,7 +1,7 @@ #!/usr/bin/env python3 -"""Идемпотентный bootstrap приватного bucket в MinIO. +"""Идемпотентный bootstrap приватного bucket в S3-совместимом хранилище. -Запускается как one-shot сервис в compose (minio-init) после старта MinIO. +Запускается как one-shot сервис в compose (s3-init) после старта SeaweedFS. Создаёт bucket, если его нет. Политика приватности — по умолчанию (никаких публичных ACL), поэтому отдельный set-bucket-policy не нужен. """ @@ -21,7 +21,7 @@ log = logging.getLogger("bootstrap_s3") def _client(): return boto3.client( "s3", - endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:9000"), + endpoint_url=os.environ.get("S3_ENDPOINT", "http://s3:8333"), region_name=os.environ.get("S3_REGION", "us-east-1"), aws_access_key_id=os.environ["S3_ACCESS_KEY_ID"], aws_secret_access_key=os.environ["S3_SECRET_ACCESS_KEY"],