From 6a7f4ec7d4cf3f49d37e085b9ad680a620ae3863 Mon Sep 17 00:00:00 2001 From: pampixz Date: Thu, 12 Nov 2026 14:37:43 +0300 Subject: [PATCH] Lab4 --- Dockerfile | 8 + REPORT.md | 90 ++++-- compose.yaml | 98 ++++++ infra/nginx.conf | 20 ++ infra/seaweedfs-s3.json | 9 + main.py | 355 ++++++++++++++++++++++ migrate.py | 14 + migrations/001_initial.sql | 37 +++ migrations/002_idempotency.sql | 9 + migrations/003_attachments.sql | 12 + migrations/migrations/001_initial.sql | 37 +++ migrations/migrations/002_idempotency.sql | 9 + migrations/migrations/003_attachments.sql | 12 + requirements.txt | 6 + scripts/init_bucket.py | 25 ++ scripts/restart.cmd | 18 ++ scripts/stop-one.cmd | 14 + 17 files changed, 749 insertions(+), 24 deletions(-) create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 infra/nginx.conf create mode 100644 infra/seaweedfs-s3.json create mode 100644 main.py create mode 100644 migrate.py create mode 100644 migrations/001_initial.sql create mode 100644 migrations/002_idempotency.sql create mode 100644 migrations/003_attachments.sql create mode 100644 migrations/migrations/001_initial.sql create mode 100644 migrations/migrations/002_idempotency.sql create mode 100644 migrations/migrations/003_attachments.sql create mode 100644 requirements.txt create mode 100644 scripts/init_bucket.py create mode 100644 scripts/restart.cmd create mode 100644 scripts/stop-one.cmd diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 0000000..4eefde9 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,8 @@ +FROM python:3.12.9-slim +WORKDIR /app +COPY requirements.txt ./ +RUN pip install --no-cache-dir -r requirements.txt +COPY main.py migrate.py ./ +COPY migrations/ ./migrations/ +EXPOSE 8080 +CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-graceful-shutdown", "8"] diff --git a/REPORT.md b/REPORT.md index 9ad2b84..926d81a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,79 @@ -# Отчёт — лабораторная 4 +# Лабораторная работа №4 — S3-хранилище и вложения -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +**Автор, группа:** Магазейщикова Дарья, БПИ2304 +**Целевая оценка:** 3 +**Стек:** Python 3.12 / FastAPI, PostgreSQL 16.8, SeaweedFS 3.80 (S3 API), Nginx 1.27.5, Docker Compose. -## Запуск из чистого clone +## 1. Цель -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Разделить хранение метаданных и бинарных файлов, добавить PNG/JPEG-вложения в сообщения и обеспечить скачивание оригиналов через любую из двух API-реплик после переключения балансировщика. -## Архитектура и решения +## 2. Архитектура -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Клиент → Nginx (`localhost:8080`) → `api1` / `api2` → PostgreSQL (пользователи, сессии, чаты, сообщения, метаданные вложений) + SeaweedFS S3 (`http://s3:8333`, бинарное содержимое). -## Доказательства критериев +API-реплики не используют локальный каталог для обязательного хранения оригиналов. Имя файла предназначено для отображения, а S3 object key генерирует сервер. Для PostgreSQL и SeaweedFS используются именованные тома `postgres_data` и `s3_data`. Сервисы `migrate` и `s3-init` завершаются с кодом 0 после выполнения своих задач. Инициализация создаёт bucket `messenger-attachments` при его отсутствии. -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +В `infra/seaweedfs-s3.json` настроена S3-учётная запись. Конфигурация и `.env` должны содержать согласованные ключи; демонстрационные секреты допустимы только в изолированном учебном окружении и должны быть заменены перед публикацией/внешним развёртыванием. Порт S3 не опубликован на хост. -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +## 3. Запуск из чистого клона -## Эксперименты и отказы +Требуются Docker Desktop с Compose и Python 3.9+ для публичных тестов. Из корня репозитория: -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +```powershell +Copy-Item .env.example .env +notepad .env +# Заполнить переменные PostgreSQL и S3 согласно compose.yaml и infra/seaweedfs-s3.json. +$env:PYTHONUTF8 = "1" +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build +docker compose ps -a +curl.exe http://localhost:8080/health/ready +python tests/smoke.py +``` -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +Для Linux/macOS предусмотрены аналогичные команды `cp .env.example .env`, `docker compose ...` и `make test`. Проверка `make check` работает отдельно от запущенного приложения. При запуске из чистого клона необходимо убедиться, что файл `scripts/init_bucket.py` доступен внутри контейнера `s3-init` по пути `/app/scripts/init_bucket.py` (в текущем стенде используется bind mount в `compose.yaml`). + +Миграции из каталога `migrations/` выполняются сервисом `migrate`, их учёт ведётся в `schema_migrations`. Инициализатор `s3-init` создаёт bucket через boto3 и может безопасно запускаться повторно. + +## 4. Реализация вложений + +При загрузке принимаются PNG/JPEG размером не более 10 MiB и не более 40 млн пикселей. MIME определяется по содержимому изображения, имя файла проверяется, размер ограничивается до неограниченного чтения/декодирования. Успешная синхронная загрузка возвращает `201` и состояние `ready`. Метаданные Attachment сохраняются в PostgreSQL, оригинальные байты — в приватном S3 bucket. Сообщение может ссылаться на `attachment_ids`; доступ к метаданным и скачиванию через API разрешён участникам чата. + +Порядок операций: сначала загрузка объекта в S3, затем фиксация метаданных в БД. При ошибке БД предпринимается компенсирующее удаление объекта. При аварии между операциями возможен «осиротевший» объект; автоматическая фоновая очистка не реализована. + +## 5. Фактические результаты проверок (Windows PowerShell, 12.11.2026) + +| Проверка | Результат | +|---|---| +| `docker compose --env-file .env config --quiet` | PASS, без ошибок | +| `docker compose --env-file .env up -d --build` | PASS после исправления пути `init_bucket.py` | +| `docker compose ps -a` | PostgreSQL healthy, обе API healthy, Nginx и SeaweedFS running; `migrate` и `s3-init` exited (0) | +| `GET /health/ready` | `{"status":"ok"}` | +| `python tests/smoke.py` с `PYTHONUTF8=1` | `PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.` | +| Persistence с `scripts/restart.cmd` | `PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.` | +| Failover, запуск №1 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,785 с | +| Failover, запуск №2 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,794 с | +| `s3-init` | `Private S3 bucket ready: messenger-attachments` | +| Анонимный GET `http://127.0.0.1:8333/messenger-attachments/test.png` из S3-контейнера | HTTP 403 Forbidden | + +Команды проверки устойчивости: + +```powershell +$env:PYTHONUTF8 = "1" +python tests/resilience.py --mode persistence --action-script scripts/restart.cmd +python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd +docker compose --env-file .env up -d api1 api2 +``` + +Скрипт `restart.cmd` перезапускает PostgreSQL и S3, ожидает 12 секунд, затем перезапускает API и балансировщик и ожидает ещё 5 секунд; тома не удаляются. `stop-one.cmd` использует `TARGET_INSTANCE_ID` для остановки обслуживавшей реплики. После теста реплики восстановлены. Вывод тестов подтверждает сохранность данных и сессий, включая оригинал изображения для persistence в lab4. + +**Границы доказательств:** два запуска failover прошли. Анонимный запрос вернул 403, но обращался к `test.png`, существование которого не доказано; для окончательного подтверждения приватности нужен анонимный GET реально загруженного object key. Также полезно приложить выводы `docker compose ps` до и после restart и остановки реплики. Публичный smoke не заменяет все негативные и инфраструктурные проверки. + +## 6. Ограничения + +- Единственный экземпляр PostgreSQL, SeaweedFS и Nginx остаётся точкой отказа; failover проверяет только API-реплики. +- `/health/ready` не гарантирует мгновенную готовность S3 после его рестарта; для persistence используется ожидание в скрипте. В дальнейшем нужна зависимостная readiness-проверка. +- Возможны orphan-объекты при аварийном завершении между записью в S3 и коммитом БД. -## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 0000000..8b8ff12 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,98 @@ +x-api: &api + build: . + environment: + DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger} + S3_ENDPOINT: http://s3:8333 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123} + depends_on: + s3-init: + condition: service_completed_successfully + migrate: + condition: service_completed_successfully + restart: unless-stopped + stop_grace_period: 12s + healthcheck: + test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"] + interval: 3s + timeout: 3s + retries: 5 + start_period: 5s +services: + s3: + image: chrislusf/seaweedfs:3.80 + command: ["server", "-dir=/data", "-s3", "-s3.config=/etc/seaweedfs/s3.json"] + volumes: + - s3_data:/data + - ./infra/seaweedfs-s3.json:/etc/seaweedfs/s3.json:ro + restart: unless-stopped + s3-init: + build: . + volumes: + - ./scripts/init_bucket.py:/app/scripts/init_bucket.py:ro + command: ["python", "scripts/init_bucket.py"] + depends_on: + s3: + condition: service_started + environment: + S3_ENDPOINT: http://s3:8333 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123} + restart: "no" + postgres: + image: postgres:16.8-alpine + environment: + POSTGRES_USER: ${POSTGRES_USER:-messenger} + POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger_local_only} + POSTGRES_DB: ${POSTGRES_DB:-messenger} + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"] + interval: 3s + timeout: 3s + retries: 20 + migrate: + build: . + command: ["python", "migrate.py"] + environment: + DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger} + depends_on: + postgres: + condition: service_healthy + restart: "no" + api1: + <<: *api + environment: + DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger} + INSTANCE_ID: api1 + S3_ENDPOINT: http://s3:8333 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123} + api2: + <<: *api + environment: + DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger} + INSTANCE_ID: api2 + S3_ENDPOINT: http://s3:8333 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio} + S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123} + lb: + image: nginx:1.27.5-alpine + ports: + - "8080:8080" + volumes: + - ./infra/nginx.conf:/etc/nginx/nginx.conf:ro + depends_on: + api1: + condition: service_healthy + api2: + condition: service_healthy + restart: unless-stopped +volumes: + postgres_data: + s3_data: diff --git a/infra/nginx.conf b/infra/nginx.conf new file mode 100644 index 0000000..5686ae5 --- /dev/null +++ b/infra/nginx.conf @@ -0,0 +1,20 @@ +events { worker_connections 1024; } +http { + upstream api_backend { + server api1:8080 max_fails=1 fail_timeout=2s; + server api2:8080 max_fails=1 fail_timeout=2s; + } + server { + listen 8080; + location / { + proxy_pass http://api_backend; + proxy_http_version 1.1; + proxy_set_header Host $host; + proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; + proxy_connect_timeout 1s; + proxy_read_timeout 15s; + proxy_next_upstream error timeout http_502 http_503 http_504; + proxy_next_upstream_tries 2; + } + } +} diff --git a/infra/seaweedfs-s3.json b/infra/seaweedfs-s3.json new file mode 100644 index 0000000..562afd0 --- /dev/null +++ b/infra/seaweedfs-s3.json @@ -0,0 +1,9 @@ +{ + "identities": [ + { + "name": "lab4-api", + "credentials": [{"accessKey": "labminio", "secretKey": "labminio_secret_123"}], + "actions": ["Admin", "Read", "Write", "List"] + } + ] +} diff --git a/main.py b/main.py new file mode 100644 index 0000000..36db7bb --- /dev/null +++ b/main.py @@ -0,0 +1,355 @@ +import base64 +import hashlib +import hmac +import json +import os +import re +import secrets +import uuid +from datetime import datetime, timezone, timedelta +from contextlib import contextmanager + +import psycopg +from psycopg.rows import dict_row +from fastapi import FastAPI, Request +from fastapi.exceptions import RequestValidationError +from fastapi.responses import JSONResponse, Response +from PIL import Image, UnidentifiedImageError +import io +import boto3 +from botocore.exceptions import BotoCoreError, ClientError +from pydantic import BaseModel, ConfigDict, Field, field_validator + +DATABASE_URL = os.environ.get('DATABASE_URL', 'postgresql://messenger:messenger@localhost:5432/messenger') +INSTANCE_ID = os.environ.get('INSTANCE_ID', 'api-local') +app = FastAPI(title='Messenger S3', version='1.4.0') +S3_BUCKET=os.environ.get('S3_BUCKET','messenger-attachments') +def s3(): + return boto3.client('s3',endpoint_url=os.environ.get('S3_ENDPOINT','http://s3:9000'),region_name='us-east-1',aws_access_key_id=os.environ.get('S3_ACCESS_KEY_ID'),aws_secret_access_key=os.environ.get('S3_SECRET_ACCESS_KEY')) + + +def utc(value): + return value.astimezone(timezone.utc).isoformat(timespec='milliseconds').replace('+00:00','Z') + +def db(): + return psycopg.connect(DATABASE_URL, row_factory=dict_row) + +@contextmanager +def transaction(): + with db() as conn: + with conn.transaction(): + yield conn + +def public_user(row): + return {k:(utc(row[k]) if k=='created_at' else str(row[k]) if k=='id' else row[k]) for k in ('id','username','display_name','created_at')} + +def public_chat(conn, row): + members=conn.execute('SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id',(row['id'],)).fetchall() + return {'id':str(row['id']),'title':row['title'],'member_ids':[str(x['user_id']) for x in members],'created_at':utc(row['created_at'])} + +def public_message(row): + result={k:(utc(row[k]) if k=='created_at' else str(row[k]) if k in ('id','chat_id','sender_id') else row[k]) for k in ('id','chat_id','sender_id','text','created_at')} + result['attachment_ids']=[str(v) for v in row.get('attachment_ids',[])] + return result + +def public_attachment(row): + result={k:(utc(row[k]) if k in ('created_at','updated_at') else str(row[k]) if k in ('id','chat_id','owner_id') else row[k]) for k in ('id','chat_id','owner_id','filename','content_type','size_bytes','sha256','status','created_at','updated_at')} + result.update(variants=[],error_code=None) + return result + +def err(request,status,code='invalid_request',message='Некорректный запрос',challenge=None): + headers={'WWW-Authenticate':challenge} if challenge else {} + return JSONResponse(status_code=status,headers=headers,content={'error':{'code':code,'message':message,'request_id':request.state.request_id}}) + +@app.middleware('http') +async def middleware(request:Request, call_next): + request.state.request_id=str(uuid.uuid4()) + try: + response=await call_next(request) + except Exception: + response=err(request,500,'internal_error','Внутренняя ошибка сервера') + response.headers['X-Request-Id']=request.state.request_id + response.headers['X-Instance-Id']=INSTANCE_ID + return response + +@app.exception_handler(RequestValidationError) +async def validation(request,exc): + return err(request,400) + +class Strict(BaseModel): + model_config=ConfigDict(extra='forbid') +class CreateUser(Strict): + username:str=Field(min_length=3,max_length=32,pattern=r'^[a-z0-9_]{3,32}$') + display_name:str=Field(min_length=1,max_length=100) + password:str=Field(min_length=8,max_length=128) + @field_validator('display_name') + @classmethod + def nonblank(cls,v): + if not v.strip(): raise ValueError('blank') + return v +class CreateChat(Strict): + title:str=Field(min_length=1,max_length=100) + member_ids:list[uuid.UUID]=Field(min_length=1,max_length=100) + @field_validator('title') + @classmethod + def nonblank(cls,v): + if not v.strip(): raise ValueError('blank') + return v +class CreateMessage(Strict): + text:str=Field(max_length=4000) + attachment_ids:list[uuid.UUID]=Field(default_factory=list,max_length=10) + @field_validator('text') + @classmethod + def nonblank(cls,v): + return v + +def password_hash(password): + salt=secrets.token_bytes(16) + result=hashlib.scrypt(password.encode(),salt=salt,n=16384,r=8,p=1) + return 'scrypt$'+salt.hex()+'$'+result.hex() + +def verify(password,encoded): + try: + _,salt,digest=encoded.split('$') + candidate=hashlib.scrypt(password.encode(),salt=bytes.fromhex(salt),n=16384,r=8,p=1) + return hmac.compare_digest(candidate,bytes.fromhex(digest)) + except (ValueError,TypeError): return False + +def actor(request,conn): + header=request.headers.get('authorization','') + if not header.startswith('Bearer '): return None + token=header[7:] + if not token: return None + digest=hashlib.sha256(token.encode()).hexdigest() + return conn.execute('SELECT u.* FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token_hash=%s AND s.expires_at>now() AND s.revoked_at IS NULL',(digest,)).fetchone() + +def require(request,conn): + user=actor(request,conn) + return user, None if user else err(request,401,'unauthorized','Требуется Bearer-сессия','Bearer') + +def parse_uuid(value): + try: return uuid.UUID(value) + except (ValueError,TypeError): return None + +def encode_cursor(resource,row): + payload=json.dumps({'resource':resource,'created_at':row['created_at'].astimezone(timezone.utc).isoformat(timespec='microseconds'),'id':str(row['id'])},separators=(',',':')) + return base64.urlsafe_b64encode(payload.encode()).decode().rstrip('=') + +def decode_cursor(cursor,resource): + if cursor is None: return None + try: + d=json.loads(base64.urlsafe_b64decode(cursor+'='*(-len(cursor)%4))) + if set(d)!={'resource','created_at','id'} or d['resource']!=resource: return False + return (datetime.fromisoformat(d['created_at'].replace('Z','+00:00')),uuid.UUID(d['id'])) + except Exception: return False + +@app.get('/health/live') +def live(): return {'status':'ok'} +@app.get('/health/ready') +def ready(): + with db() as conn: conn.execute('SELECT 1') + return {'status':'ok'} + +@app.post('/api/v1/users',status_code=201) +def register(body:CreateUser,request:Request): + with transaction() as conn: + if conn.execute('SELECT 1 FROM users WHERE username=%s',(body.username,)).fetchone(): + return err(request,409,'conflict','Имя пользователя занято') + row=conn.execute('INSERT INTO users(username,display_name,password_hash) VALUES (%s,%s,%s) RETURNING *',(body.username,body.display_name,password_hash(body.password))).fetchone() + return public_user(row) + +@app.post('/api/v1/auth/sessions',status_code=201) +def login(request:Request): + auth=request.headers.get('authorization','') + try: + if not auth.startswith('Basic '): raise ValueError() + credentials=base64.b64decode(auth[6:],validate=True).decode('utf-8') + username,password=credentials.split(':',1) + except (ValueError,UnicodeError): return err(request,401,'unauthorized','Неверные учётные данные','Basic') + with transaction() as conn: + user=conn.execute('SELECT * FROM users WHERE username=%s',(username,)).fetchone() + if not user or not verify(password,user['password_hash']): return err(request,401,'unauthorized','Неверные учётные данные','Basic') + token=secrets.token_urlsafe(48) + expires=datetime.now(timezone.utc)+timedelta(hours=24) + conn.execute('INSERT INTO sessions(user_id,token_hash,expires_at) VALUES (%s,%s,%s)',(user['id'],hashlib.sha256(token.encode()).hexdigest(),expires)) + return {'token':token,'token_type':'Bearer','expires_at':utc(expires),'user':public_user(user)} + +@app.delete('/api/v1/auth/sessions/current',status_code=204) +def logout(request:Request): + with transaction() as conn: + user,e=require(request,conn) + if e:return e + digest=hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest() + conn.execute('UPDATE sessions SET revoked_at=now() WHERE token_hash=%s',(digest,)) + return Response(status_code=204) + +@app.get('/api/v1/users/me') +def me(request:Request): + with db() as conn: + user,e=require(request,conn) + return e or public_user(user) + +@app.post('/api/v1/chats',status_code=201) +def create_chat(body:CreateChat,request:Request): + with transaction() as conn: + user,e=require(request,conn) + if e:return e + members=body.member_ids + if len(set(members))!=len(members) or user['id'] not in members: + return err(request,400) + found=conn.execute('SELECT count(*) AS n FROM users WHERE id=ANY(%s)',(members,)).fetchone()['n'] + if found!=len(members):return err(request,400) + row=conn.execute('INSERT INTO chats(title) VALUES (%s) RETURNING *',(body.title,)).fetchone() + for member in members: conn.execute('INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)',(row['id'],member)) + return public_chat(conn,row) + +def member_chat(conn,chat_id,user_id): + return conn.execute('SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE c.id=%s AND cm.user_id=%s',(chat_id,user_id)).fetchone() + +@app.get('/api/v1/chats') +def list_chats(request:Request,limit:int=50,cursor:str|None=None): + if not 1<=limit<=100:return err(request,400) + with db() as conn: + user,e=require(request,conn) + if e:return e + marker=decode_cursor(cursor,'chats:'+str(user['id'])) + if marker is False:return err(request,400) + query='SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE cm.user_id=%s' + params=[user['id']] + if marker: + query+=' AND (c.created_at,c.id)>(%s,%s)';params.extend(marker) + rows=conn.execute(query+' ORDER BY c.created_at,c.id LIMIT %s',(*params,limit+1)).fetchall() + page=rows[:limit] + return {'items':[public_chat(conn,r) for r in page],'next_cursor':encode_cursor('chats:'+str(user['id']),page[-1]) if len(rows)>limit else None} + +@app.get('/api/v1/chats/{chat_id}') +def get_chat(chat_id:str,request:Request): + with db() as conn: + user,e=require(request,conn) + if e:return e + cid=parse_uuid(chat_id) + if cid is None:return err(request,400) + row=member_chat(conn,cid,user['id']) + return public_chat(conn,row) if row else err(request,404,'not_found','Чат не найден') + +@app.post('/api/v1/chats/{chat_id}/messages',status_code=201) +def send(chat_id:str,body:CreateMessage,request:Request): + key=request.headers.get('Idempotency-Key','') + if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key,flags=re.ASCII): + return err(request,400,'invalid_request','Требуется корректный Idempotency-Key') + if not body.text.strip() and not body.attachment_ids:return err(request,400) + if len(set(body.attachment_ids))!=len(body.attachment_ids):return err(request,400) + with transaction() as conn: + user,e=require(request,conn) + if e:return e + cid=parse_uuid(chat_id) + if cid is None:return err(request,400) + if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден') + if body.attachment_ids: + found=conn.execute('SELECT count(*) AS n FROM attachments WHERE id=ANY(%s) AND chat_id=%s AND status=%s',(body.attachment_ids,cid,'ready')).fetchone()['n'] + if found!=len(body.attachment_ids):return err(request,400) + # UNIQUE constraint serializes concurrent calls on all replicas. + # The message and idempotency record commit atomically. + fingerprint=hashlib.sha256(json.dumps({'text':body.text,'attachment_ids':[str(x) for x in body.attachment_ids]},sort_keys=True,separators=(',',':'),ensure_ascii=False).encode()).hexdigest() + conn.execute("""INSERT INTO message_idempotency(user_id,chat_id,key,fingerprint,message_id) + VALUES (%s,%s,%s,%s,NULL) ON CONFLICT DO NOTHING""",(user['id'],cid,key,fingerprint)) + record=conn.execute("""SELECT fingerprint,message_id FROM message_idempotency + WHERE user_id=%s AND chat_id=%s AND key=%s FOR UPDATE""",(user['id'],cid,key)).fetchone() + if record['fingerprint']!=fingerprint: + return err(request,409,'conflict','Ключ уже использован для другого сообщения') + if record['message_id'] is not None: + row=conn.execute('SELECT * FROM messages WHERE id=%s',(record['message_id'],)).fetchone() + return public_message(row) + row=conn.execute('INSERT INTO messages(chat_id,sender_id,text,attachment_ids) VALUES (%s,%s,%s,%s) RETURNING *',(cid,user['id'],body.text,body.attachment_ids)).fetchone() + conn.execute("""UPDATE message_idempotency SET message_id=%s + WHERE user_id=%s AND chat_id=%s AND key=%s""",(row['id'],user['id'],cid,key)) + return public_message(row) + +@app.get('/api/v1/chats/{chat_id}/messages') +def list_messages(chat_id:str,request:Request,limit:int=50,cursor:str|None=None): + if not 1<=limit<=100:return err(request,400) + with db() as conn: + user,e=require(request,conn) + if e:return e + cid=parse_uuid(chat_id) + if cid is None:return err(request,400) + marker=decode_cursor(cursor,'messages:'+str(cid)) + if marker is False:return err(request,400) + if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден') + query='SELECT * FROM messages WHERE chat_id=%s';params=[cid] + if marker: + query+=' AND (created_at,id)>(%s,%s)';params.extend(marker) + rows=conn.execute(query+' ORDER BY created_at,id LIMIT %s',(*params,limit+1)).fetchall() + page=rows[:limit] + return {'items':[public_message(r) for r in page],'next_cursor':encode_cursor('messages:'+str(cid),page[-1]) if len(rows)>limit else None} + +@app.post('/api/v1/chats/{chat_id}/attachments',status_code=201) +async def upload(chat_id:str,request:Request,filename:str=''): + if not filename or len(filename)>255 or filename in ('.','..') or '/' in filename or '\\' in filename or any(ord(c)<32 or ord(c)==127 for c in filename): + return err(request,400) + cid=parse_uuid(chat_id) + if cid is None:return err(request,400) + with db() as conn: + user,e=require(request,conn) + if e:return e + if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден') + owner=user['id'] + declared=request.headers.get('content-type','').split(';')[0].strip().lower() + if declared not in ('image/png','image/jpeg'):return err(request,400) + if request.headers.get('content-length'): + try: + if int(request.headers['content-length'])>10485760:return err(request,413,'payload_too_large','Файл слишком большой') + except ValueError:return err(request,400) + data=bytearray() + async for chunk in request.stream(): + if len(data)+len(chunk)>10485760:return err(request,413,'payload_too_large','Файл слишком большой') + data.extend(chunk) + if not data:return err(request,400) + try: + Image.MAX_IMAGE_PIXELS=40000000 + with Image.open(io.BytesIO(data)) as img: + actual={'PNG':'image/png','JPEG':'image/jpeg'}.get(img.format) + if actual!=declared or img.width*img.height>40000000:return err(request,400) + img.verify() + except (UnidentifiedImageError,ValueError,OSError,Image.DecompressionBombError,Image.DecompressionBombWarning):return err(request,400) + aid=uuid.uuid4() + object_key='attachments/'+str(cid)+'/'+str(aid) + try: + s3().put_object(Bucket=S3_BUCKET,Key=object_key,Body=bytes(data),ContentType=actual) + except (BotoCoreError,ClientError,Exception):return err(request,503,'storage_unavailable','S3 недоступно') + try: + with transaction() as conn: + row=conn.execute('INSERT INTO attachments(id,chat_id,owner_id,filename,content_type,size_bytes,sha256,status,object_key) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s) RETURNING *',(aid,cid,owner,filename,actual,len(data),hashlib.sha256(data).hexdigest(),'ready',object_key)).fetchone() + return public_attachment(row) + except Exception: + try:s3().delete_object(Bucket=S3_BUCKET,Key=object_key) + except Exception:pass + return err(request,503,'storage_unavailable','Не удалось сохранить метаданные') + +def get_attachment_row(request,attachment_id): + aid=parse_uuid(attachment_id) + if aid is None:return None,err(request,400) + with db() as conn: + user,e=require(request,conn) + if e:return None,e + row=conn.execute('SELECT a.* FROM attachments a JOIN chat_members cm ON cm.chat_id=a.chat_id WHERE a.id=%s AND cm.user_id=%s',(aid,user['id'])).fetchone() + if row is None:return None,err(request,404,'not_found','Вложение не найдено') + return row,None + +@app.get('/api/v1/attachments/{attachment_id}') +def attachment_metadata(attachment_id:str,request:Request): + row,e=get_attachment_row(request,attachment_id) + return e or public_attachment(row) + +@app.get('/api/v1/attachments/{attachment_id}/content') +def attachment_content(attachment_id:str,request:Request,variant:str='original'): + row,e=get_attachment_row(request,attachment_id) + if e:return e + if variant!='original':return err(request,400) + try: + obj=s3().get_object(Bucket=S3_BUCKET,Key=row['object_key']) + data=obj['Body'].read(10485761) + if len(data)!=row['size_bytes'] or hashlib.sha256(data).hexdigest()!=row['sha256']: + return err(request,503,'storage_unavailable','Неверная контрольная сумма') + except Exception:return err(request,503,'storage_unavailable','S3 недоступно') + return Response(content=data,media_type=row['content_type'],headers={'Cache-Control':'private, no-store','Content-Disposition':'attachment; filename="image"'}) diff --git a/migrate.py b/migrate.py new file mode 100644 index 0000000..087523f --- /dev/null +++ b/migrate.py @@ -0,0 +1,14 @@ +import os +from pathlib import Path +import psycopg +url=os.environ['DATABASE_URL'] +with psycopg.connect(url) as conn: + with conn.transaction(): + conn.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())') + conn.execute('SELECT pg_advisory_xact_lock(18202602)') + for path in sorted(Path(__file__).parent.joinpath('migrations').glob('*.sql')): + if not conn.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(path.name,)).fetchone(): + conn.execute(path.read_text()) + conn.execute('INSERT INTO schema_migrations(version) VALUES (%s)',(path.name,)) + print('Applied',path.name) +print('Migrations complete') diff --git a/migrations/001_initial.sql b/migrations/001_initial.sql new file mode 100644 index 0000000..231c4de --- /dev/null +++ b/migrations/001_initial.sql @@ -0,0 +1,37 @@ +CREATE TABLE IF NOT EXISTS users ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'), + display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0), + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE TABLE IF NOT EXISTS chats ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + title varchar(100) NOT NULL CHECK (length(trim(title)) > 0), + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE TABLE IF NOT EXISTS chat_members ( + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE, + PRIMARY KEY (chat_id,user_id) +); +CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id); +CREATE TABLE IF NOT EXISTS messages ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + sender_id uuid NOT NULL REFERENCES users(id), + text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0), + created_at timestamptz NOT NULL DEFAULT now(), + FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id) +); +CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id); +CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id); +CREATE TABLE IF NOT EXISTS sessions ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE, + token_hash char(64) NOT NULL UNIQUE, + expires_at timestamptz NOT NULL, + revoked_at timestamptz, + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id); diff --git a/migrations/002_idempotency.sql b/migrations/002_idempotency.sql new file mode 100644 index 0000000..1b52933 --- /dev/null +++ b/migrations/002_idempotency.sql @@ -0,0 +1,9 @@ +CREATE TABLE IF NOT EXISTS message_idempotency ( + user_id uuid NOT NULL REFERENCES users(id), + chat_id uuid NOT NULL REFERENCES chats(id), + key varchar(128) NOT NULL, + fingerprint char(64) NOT NULL, + message_id uuid REFERENCES messages(id), + created_at timestamptz NOT NULL DEFAULT now(), + PRIMARY KEY (user_id, chat_id, key) +); diff --git a/migrations/003_attachments.sql b/migrations/003_attachments.sql new file mode 100644 index 0000000..d71b1d0 --- /dev/null +++ b/migrations/003_attachments.sql @@ -0,0 +1,12 @@ +ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check; +ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}'; +ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0); +CREATE TABLE IF NOT EXISTS attachments ( + id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL, + content_type varchar(20) NOT NULL, size_bytes integer NOT NULL, + sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready', + object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(), + updated_at timestamptz NOT NULL DEFAULT now() +); +CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id); diff --git a/migrations/migrations/001_initial.sql b/migrations/migrations/001_initial.sql new file mode 100644 index 0000000..231c4de --- /dev/null +++ b/migrations/migrations/001_initial.sql @@ -0,0 +1,37 @@ +CREATE TABLE IF NOT EXISTS users ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'), + display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0), + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE TABLE IF NOT EXISTS chats ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + title varchar(100) NOT NULL CHECK (length(trim(title)) > 0), + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE TABLE IF NOT EXISTS chat_members ( + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE, + PRIMARY KEY (chat_id,user_id) +); +CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id); +CREATE TABLE IF NOT EXISTS messages ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + sender_id uuid NOT NULL REFERENCES users(id), + text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0), + created_at timestamptz NOT NULL DEFAULT now(), + FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id) +); +CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id); +CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id); +CREATE TABLE IF NOT EXISTS sessions ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE, + token_hash char(64) NOT NULL UNIQUE, + expires_at timestamptz NOT NULL, + revoked_at timestamptz, + created_at timestamptz NOT NULL DEFAULT now() +); +CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id); diff --git a/migrations/migrations/002_idempotency.sql b/migrations/migrations/002_idempotency.sql new file mode 100644 index 0000000..1b52933 --- /dev/null +++ b/migrations/migrations/002_idempotency.sql @@ -0,0 +1,9 @@ +CREATE TABLE IF NOT EXISTS message_idempotency ( + user_id uuid NOT NULL REFERENCES users(id), + chat_id uuid NOT NULL REFERENCES chats(id), + key varchar(128) NOT NULL, + fingerprint char(64) NOT NULL, + message_id uuid REFERENCES messages(id), + created_at timestamptz NOT NULL DEFAULT now(), + PRIMARY KEY (user_id, chat_id, key) +); diff --git a/migrations/migrations/003_attachments.sql b/migrations/migrations/003_attachments.sql new file mode 100644 index 0000000..d71b1d0 --- /dev/null +++ b/migrations/migrations/003_attachments.sql @@ -0,0 +1,12 @@ +ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check; +ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}'; +ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0); +CREATE TABLE IF NOT EXISTS attachments ( + id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL, + content_type varchar(20) NOT NULL, size_bytes integer NOT NULL, + sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready', + object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(), + updated_at timestamptz NOT NULL DEFAULT now() +); +CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id); diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 0000000..d6d5239 --- /dev/null +++ b/requirements.txt @@ -0,0 +1,6 @@ +fastapi==0.115.12 +uvicorn==0.34.2 +pydantic==2.11.4 +psycopg[binary]==3.2.6 +boto3==1.37.38 +Pillow==11.1.0 diff --git a/scripts/init_bucket.py b/scripts/init_bucket.py new file mode 100644 index 0000000..1d37449 --- /dev/null +++ b/scripts/init_bucket.py @@ -0,0 +1,25 @@ +import os +import time +import boto3 +from botocore.config import Config + +client = boto3.client( + 's3', endpoint_url=os.getenv('S3_ENDPOINT', 'http://s3:8333'), + region_name='us-east-1', + aws_access_key_id=os.environ['S3_ACCESS_KEY_ID'], + aws_secret_access_key=os.environ['S3_SECRET_ACCESS_KEY'], + config=Config(connect_timeout=3, read_timeout=5, retries={'max_attempts': 1}), +) +bucket = os.getenv('S3_BUCKET', 'messenger-attachments') +for attempt in range(60): + try: + buckets = [x['Name'] for x in client.list_buckets().get('Buckets', [])] + if bucket not in buckets: + client.create_bucket(Bucket=bucket) + print('Private S3 bucket ready:', bucket) + break + except Exception as exc: + print('Waiting for S3:', str(exc), flush=True) + if attempt == 59: + raise + time.sleep(2) diff --git a/scripts/restart.cmd b/scripts/restart.cmd new file mode 100644 index 0000000..d0ec8df --- /dev/null +++ b/scripts/restart.cmd @@ -0,0 +1,18 @@ +@echo off +cd /d "%~dp0.." + +echo Restarting PostgreSQL and S3... +docker compose --env-file .env restart postgres s3 +if errorlevel 1 exit /b 1 + +echo Waiting for storage... +timeout /t 12 /nobreak >nul + +echo Restarting API replicas and load balancer... +docker compose --env-file .env restart api1 api2 lb +if errorlevel 1 exit /b 1 + +echo Waiting for API... +timeout /t 5 /nobreak >nul + +exit /b 0 \ No newline at end of file diff --git a/scripts/stop-one.cmd b/scripts/stop-one.cmd new file mode 100644 index 0000000..3feb5c5 --- /dev/null +++ b/scripts/stop-one.cmd @@ -0,0 +1,14 @@ +@echo off +cd /d "%~dp0.." + +if /I "%TARGET_INSTANCE_ID%"=="api1" ( + docker compose --env-file .env stop api1 >nul 2>&1 + exit /b %errorlevel% +) + +if /I "%TARGET_INSTANCE_ID%"=="api2" ( + docker compose --env-file .env stop api2 >nul 2>&1 + exit /b %errorlevel% +) + +exit /b 1 \ No newline at end of file