This commit is contained in:
pampixz
2026-11-12 14:37:43 +03:00
parent ec540a1a72
commit 6a7f4ec7d4
17 changed files with 749 additions and 24 deletions
+8
View File
@@ -0,0 +1,8 @@
FROM python:3.12.9-slim
WORKDIR /app
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
COPY main.py migrate.py ./
COPY migrations/ ./migrations/
EXPOSE 8080
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-graceful-shutdown", "8"]
+66 -24
View File
@@ -1,37 +1,79 @@
# Отчёт — лабораторная 4
# Лабораторная работа №4 — S3-хранилище и вложения
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
**Автор, группа:** Магазейщикова Дарья, БПИ2304
**Целевая оценка:** 3
**Стек:** Python 3.12 / FastAPI, PostgreSQL 16.8, SeaweedFS 3.80 (S3 API), Nginx 1.27.5, Docker Compose.
## Запуск из чистого clone
## 1. Цель
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Разделить хранение метаданных и бинарных файлов, добавить PNG/JPEG-вложения в сообщения и обеспечить скачивание оригиналов через любую из двух API-реплик после переключения балансировщика.
## Архитектура и решения
## 2. Архитектура
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Клиент → Nginx (`localhost:8080`) → `api1` / `api2` → PostgreSQL (пользователи, сессии, чаты, сообщения, метаданные вложений) + SeaweedFS S3 (`http://s3:8333`, бинарное содержимое).
## Доказательства критериев
API-реплики не используют локальный каталог для обязательного хранения оригиналов. Имя файла предназначено для отображения, а S3 object key генерирует сервер. Для PostgreSQL и SeaweedFS используются именованные тома `postgres_data` и `s3_data`. Сервисы `migrate` и `s3-init` завершаются с кодом 0 после выполнения своих задач. Инициализация создаёт bucket `messenger-attachments` при его отсутствии.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
В `infra/seaweedfs-s3.json` настроена S3-учётная запись. Конфигурация и `.env` должны содержать согласованные ключи; демонстрационные секреты допустимы только в изолированном учебном окружении и должны быть заменены перед публикацией/внешним развёртыванием. Порт S3 не опубликован на хост.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
## 3. Запуск из чистого клона
## Эксперименты и отказы
Требуются Docker Desktop с Compose и Python 3.9+ для публичных тестов. Из корня репозитория:
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
```powershell
Copy-Item .env.example .env
notepad .env
# Заполнить переменные PostgreSQL и S3 согласно compose.yaml и infra/seaweedfs-s3.json.
$env:PYTHONUTF8 = "1"
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose ps -a
curl.exe http://localhost:8080/health/ready
python tests/smoke.py
```
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Для Linux/macOS предусмотрены аналогичные команды `cp .env.example .env`, `docker compose ...` и `make test`. Проверка `make check` работает отдельно от запущенного приложения. При запуске из чистого клона необходимо убедиться, что файл `scripts/init_bucket.py` доступен внутри контейнера `s3-init` по пути `/app/scripts/init_bucket.py` (в текущем стенде используется bind mount в `compose.yaml`).
Миграции из каталога `migrations/` выполняются сервисом `migrate`, их учёт ведётся в `schema_migrations`. Инициализатор `s3-init` создаёт bucket через boto3 и может безопасно запускаться повторно.
## 4. Реализация вложений
При загрузке принимаются PNG/JPEG размером не более 10 MiB и не более 40 млн пикселей. MIME определяется по содержимому изображения, имя файла проверяется, размер ограничивается до неограниченного чтения/декодирования. Успешная синхронная загрузка возвращает `201` и состояние `ready`. Метаданные Attachment сохраняются в PostgreSQL, оригинальные байты — в приватном S3 bucket. Сообщение может ссылаться на `attachment_ids`; доступ к метаданным и скачиванию через API разрешён участникам чата.
Порядок операций: сначала загрузка объекта в S3, затем фиксация метаданных в БД. При ошибке БД предпринимается компенсирующее удаление объекта. При аварии между операциями возможен «осиротевший» объект; автоматическая фоновая очистка не реализована.
## 5. Фактические результаты проверок (Windows PowerShell, 12.11.2026)
| Проверка | Результат |
|---|---|
| `docker compose --env-file .env config --quiet` | PASS, без ошибок |
| `docker compose --env-file .env up -d --build` | PASS после исправления пути `init_bucket.py` |
| `docker compose ps -a` | PostgreSQL healthy, обе API healthy, Nginx и SeaweedFS running; `migrate` и `s3-init` exited (0) |
| `GET /health/ready` | `{"status":"ok"}` |
| `python tests/smoke.py` с `PYTHONUTF8=1` | `PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.` |
| Persistence с `scripts/restart.cmd` | `PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.` |
| Failover, запуск №1 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,785 с |
| Failover, запуск №2 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,794 с |
| `s3-init` | `Private S3 bucket ready: messenger-attachments` |
| Анонимный GET `http://127.0.0.1:8333/messenger-attachments/test.png` из S3-контейнера | HTTP 403 Forbidden |
Команды проверки устойчивости:
```powershell
$env:PYTHONUTF8 = "1"
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
docker compose --env-file .env up -d api1 api2
```
Скрипт `restart.cmd` перезапускает PostgreSQL и S3, ожидает 12 секунд, затем перезапускает API и балансировщик и ожидает ещё 5 секунд; тома не удаляются. `stop-one.cmd` использует `TARGET_INSTANCE_ID` для остановки обслуживавшей реплики. После теста реплики восстановлены. Вывод тестов подтверждает сохранность данных и сессий, включая оригинал изображения для persistence в lab4.
**Границы доказательств:** два запуска failover прошли. Анонимный запрос вернул 403, но обращался к `test.png`, существование которого не доказано; для окончательного подтверждения приватности нужен анонимный GET реально загруженного object key. Также полезно приложить выводы `docker compose ps` до и после restart и остановки реплики. Публичный smoke не заменяет все негативные и инфраструктурные проверки.
## 6. Ограничения
- Единственный экземпляр PostgreSQL, SeaweedFS и Nginx остаётся точкой отказа; failover проверяет только API-реплики.
- `/health/ready` не гарантирует мгновенную готовность S3 после его рестарта; для persistence используется ожидание в скрипте. В дальнейшем нужна зависимостная readiness-проверка.
- Возможны orphan-объекты при аварийном завершении между записью в S3 и коммитом БД.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
+98
View File
@@ -0,0 +1,98 @@
x-api: &api
build: .
environment:
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
S3_ENDPOINT: http://s3:8333
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
depends_on:
s3-init:
condition: service_completed_successfully
migrate:
condition: service_completed_successfully
restart: unless-stopped
stop_grace_period: 12s
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
interval: 3s
timeout: 3s
retries: 5
start_period: 5s
services:
s3:
image: chrislusf/seaweedfs:3.80
command: ["server", "-dir=/data", "-s3", "-s3.config=/etc/seaweedfs/s3.json"]
volumes:
- s3_data:/data
- ./infra/seaweedfs-s3.json:/etc/seaweedfs/s3.json:ro
restart: unless-stopped
s3-init:
build: .
volumes:
- ./scripts/init_bucket.py:/app/scripts/init_bucket.py:ro
command: ["python", "scripts/init_bucket.py"]
depends_on:
s3:
condition: service_started
environment:
S3_ENDPOINT: http://s3:8333
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
restart: "no"
postgres:
image: postgres:16.8-alpine
environment:
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger_local_only}
POSTGRES_DB: ${POSTGRES_DB:-messenger}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
interval: 3s
timeout: 3s
retries: 20
migrate:
build: .
command: ["python", "migrate.py"]
environment:
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
depends_on:
postgres:
condition: service_healthy
restart: "no"
api1:
<<: *api
environment:
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
INSTANCE_ID: api1
S3_ENDPOINT: http://s3:8333
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
api2:
<<: *api
environment:
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
INSTANCE_ID: api2
S3_ENDPOINT: http://s3:8333
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
lb:
image: nginx:1.27.5-alpine
ports:
- "8080:8080"
volumes:
- ./infra/nginx.conf:/etc/nginx/nginx.conf:ro
depends_on:
api1:
condition: service_healthy
api2:
condition: service_healthy
restart: unless-stopped
volumes:
postgres_data:
s3_data:
+20
View File
@@ -0,0 +1,20 @@
events { worker_connections 1024; }
http {
upstream api_backend {
server api1:8080 max_fails=1 fail_timeout=2s;
server api2:8080 max_fails=1 fail_timeout=2s;
}
server {
listen 8080;
location / {
proxy_pass http://api_backend;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 1s;
proxy_read_timeout 15s;
proxy_next_upstream error timeout http_502 http_503 http_504;
proxy_next_upstream_tries 2;
}
}
}
+9
View File
@@ -0,0 +1,9 @@
{
"identities": [
{
"name": "lab4-api",
"credentials": [{"accessKey": "labminio", "secretKey": "labminio_secret_123"}],
"actions": ["Admin", "Read", "Write", "List"]
}
]
}
+355
View File
@@ -0,0 +1,355 @@
import base64
import hashlib
import hmac
import json
import os
import re
import secrets
import uuid
from datetime import datetime, timezone, timedelta
from contextlib import contextmanager
import psycopg
from psycopg.rows import dict_row
from fastapi import FastAPI, Request
from fastapi.exceptions import RequestValidationError
from fastapi.responses import JSONResponse, Response
from PIL import Image, UnidentifiedImageError
import io
import boto3
from botocore.exceptions import BotoCoreError, ClientError
from pydantic import BaseModel, ConfigDict, Field, field_validator
DATABASE_URL = os.environ.get('DATABASE_URL', 'postgresql://messenger:messenger@localhost:5432/messenger')
INSTANCE_ID = os.environ.get('INSTANCE_ID', 'api-local')
app = FastAPI(title='Messenger S3', version='1.4.0')
S3_BUCKET=os.environ.get('S3_BUCKET','messenger-attachments')
def s3():
return boto3.client('s3',endpoint_url=os.environ.get('S3_ENDPOINT','http://s3:9000'),region_name='us-east-1',aws_access_key_id=os.environ.get('S3_ACCESS_KEY_ID'),aws_secret_access_key=os.environ.get('S3_SECRET_ACCESS_KEY'))
def utc(value):
return value.astimezone(timezone.utc).isoformat(timespec='milliseconds').replace('+00:00','Z')
def db():
return psycopg.connect(DATABASE_URL, row_factory=dict_row)
@contextmanager
def transaction():
with db() as conn:
with conn.transaction():
yield conn
def public_user(row):
return {k:(utc(row[k]) if k=='created_at' else str(row[k]) if k=='id' else row[k]) for k in ('id','username','display_name','created_at')}
def public_chat(conn, row):
members=conn.execute('SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id',(row['id'],)).fetchall()
return {'id':str(row['id']),'title':row['title'],'member_ids':[str(x['user_id']) for x in members],'created_at':utc(row['created_at'])}
def public_message(row):
result={k:(utc(row[k]) if k=='created_at' else str(row[k]) if k in ('id','chat_id','sender_id') else row[k]) for k in ('id','chat_id','sender_id','text','created_at')}
result['attachment_ids']=[str(v) for v in row.get('attachment_ids',[])]
return result
def public_attachment(row):
result={k:(utc(row[k]) if k in ('created_at','updated_at') else str(row[k]) if k in ('id','chat_id','owner_id') else row[k]) for k in ('id','chat_id','owner_id','filename','content_type','size_bytes','sha256','status','created_at','updated_at')}
result.update(variants=[],error_code=None)
return result
def err(request,status,code='invalid_request',message='Некорректный запрос',challenge=None):
headers={'WWW-Authenticate':challenge} if challenge else {}
return JSONResponse(status_code=status,headers=headers,content={'error':{'code':code,'message':message,'request_id':request.state.request_id}})
@app.middleware('http')
async def middleware(request:Request, call_next):
request.state.request_id=str(uuid.uuid4())
try:
response=await call_next(request)
except Exception:
response=err(request,500,'internal_error','Внутренняя ошибка сервера')
response.headers['X-Request-Id']=request.state.request_id
response.headers['X-Instance-Id']=INSTANCE_ID
return response
@app.exception_handler(RequestValidationError)
async def validation(request,exc):
return err(request,400)
class Strict(BaseModel):
model_config=ConfigDict(extra='forbid')
class CreateUser(Strict):
username:str=Field(min_length=3,max_length=32,pattern=r'^[a-z0-9_]{3,32}$')
display_name:str=Field(min_length=1,max_length=100)
password:str=Field(min_length=8,max_length=128)
@field_validator('display_name')
@classmethod
def nonblank(cls,v):
if not v.strip(): raise ValueError('blank')
return v
class CreateChat(Strict):
title:str=Field(min_length=1,max_length=100)
member_ids:list[uuid.UUID]=Field(min_length=1,max_length=100)
@field_validator('title')
@classmethod
def nonblank(cls,v):
if not v.strip(): raise ValueError('blank')
return v
class CreateMessage(Strict):
text:str=Field(max_length=4000)
attachment_ids:list[uuid.UUID]=Field(default_factory=list,max_length=10)
@field_validator('text')
@classmethod
def nonblank(cls,v):
return v
def password_hash(password):
salt=secrets.token_bytes(16)
result=hashlib.scrypt(password.encode(),salt=salt,n=16384,r=8,p=1)
return 'scrypt$'+salt.hex()+'$'+result.hex()
def verify(password,encoded):
try:
_,salt,digest=encoded.split('$')
candidate=hashlib.scrypt(password.encode(),salt=bytes.fromhex(salt),n=16384,r=8,p=1)
return hmac.compare_digest(candidate,bytes.fromhex(digest))
except (ValueError,TypeError): return False
def actor(request,conn):
header=request.headers.get('authorization','')
if not header.startswith('Bearer '): return None
token=header[7:]
if not token: return None
digest=hashlib.sha256(token.encode()).hexdigest()
return conn.execute('SELECT u.* FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token_hash=%s AND s.expires_at>now() AND s.revoked_at IS NULL',(digest,)).fetchone()
def require(request,conn):
user=actor(request,conn)
return user, None if user else err(request,401,'unauthorized','Требуется Bearer-сессия','Bearer')
def parse_uuid(value):
try: return uuid.UUID(value)
except (ValueError,TypeError): return None
def encode_cursor(resource,row):
payload=json.dumps({'resource':resource,'created_at':row['created_at'].astimezone(timezone.utc).isoformat(timespec='microseconds'),'id':str(row['id'])},separators=(',',':'))
return base64.urlsafe_b64encode(payload.encode()).decode().rstrip('=')
def decode_cursor(cursor,resource):
if cursor is None: return None
try:
d=json.loads(base64.urlsafe_b64decode(cursor+'='*(-len(cursor)%4)))
if set(d)!={'resource','created_at','id'} or d['resource']!=resource: return False
return (datetime.fromisoformat(d['created_at'].replace('Z','+00:00')),uuid.UUID(d['id']))
except Exception: return False
@app.get('/health/live')
def live(): return {'status':'ok'}
@app.get('/health/ready')
def ready():
with db() as conn: conn.execute('SELECT 1')
return {'status':'ok'}
@app.post('/api/v1/users',status_code=201)
def register(body:CreateUser,request:Request):
with transaction() as conn:
if conn.execute('SELECT 1 FROM users WHERE username=%s',(body.username,)).fetchone():
return err(request,409,'conflict','Имя пользователя занято')
row=conn.execute('INSERT INTO users(username,display_name,password_hash) VALUES (%s,%s,%s) RETURNING *',(body.username,body.display_name,password_hash(body.password))).fetchone()
return public_user(row)
@app.post('/api/v1/auth/sessions',status_code=201)
def login(request:Request):
auth=request.headers.get('authorization','')
try:
if not auth.startswith('Basic '): raise ValueError()
credentials=base64.b64decode(auth[6:],validate=True).decode('utf-8')
username,password=credentials.split(':',1)
except (ValueError,UnicodeError): return err(request,401,'unauthorized','Неверные учётные данные','Basic')
with transaction() as conn:
user=conn.execute('SELECT * FROM users WHERE username=%s',(username,)).fetchone()
if not user or not verify(password,user['password_hash']): return err(request,401,'unauthorized','Неверные учётные данные','Basic')
token=secrets.token_urlsafe(48)
expires=datetime.now(timezone.utc)+timedelta(hours=24)
conn.execute('INSERT INTO sessions(user_id,token_hash,expires_at) VALUES (%s,%s,%s)',(user['id'],hashlib.sha256(token.encode()).hexdigest(),expires))
return {'token':token,'token_type':'Bearer','expires_at':utc(expires),'user':public_user(user)}
@app.delete('/api/v1/auth/sessions/current',status_code=204)
def logout(request:Request):
with transaction() as conn:
user,e=require(request,conn)
if e:return e
digest=hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest()
conn.execute('UPDATE sessions SET revoked_at=now() WHERE token_hash=%s',(digest,))
return Response(status_code=204)
@app.get('/api/v1/users/me')
def me(request:Request):
with db() as conn:
user,e=require(request,conn)
return e or public_user(user)
@app.post('/api/v1/chats',status_code=201)
def create_chat(body:CreateChat,request:Request):
with transaction() as conn:
user,e=require(request,conn)
if e:return e
members=body.member_ids
if len(set(members))!=len(members) or user['id'] not in members:
return err(request,400)
found=conn.execute('SELECT count(*) AS n FROM users WHERE id=ANY(%s)',(members,)).fetchone()['n']
if found!=len(members):return err(request,400)
row=conn.execute('INSERT INTO chats(title) VALUES (%s) RETURNING *',(body.title,)).fetchone()
for member in members: conn.execute('INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)',(row['id'],member))
return public_chat(conn,row)
def member_chat(conn,chat_id,user_id):
return conn.execute('SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE c.id=%s AND cm.user_id=%s',(chat_id,user_id)).fetchone()
@app.get('/api/v1/chats')
def list_chats(request:Request,limit:int=50,cursor:str|None=None):
if not 1<=limit<=100:return err(request,400)
with db() as conn:
user,e=require(request,conn)
if e:return e
marker=decode_cursor(cursor,'chats:'+str(user['id']))
if marker is False:return err(request,400)
query='SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE cm.user_id=%s'
params=[user['id']]
if marker:
query+=' AND (c.created_at,c.id)>(%s,%s)';params.extend(marker)
rows=conn.execute(query+' ORDER BY c.created_at,c.id LIMIT %s',(*params,limit+1)).fetchall()
page=rows[:limit]
return {'items':[public_chat(conn,r) for r in page],'next_cursor':encode_cursor('chats:'+str(user['id']),page[-1]) if len(rows)>limit else None}
@app.get('/api/v1/chats/{chat_id}')
def get_chat(chat_id:str,request:Request):
with db() as conn:
user,e=require(request,conn)
if e:return e
cid=parse_uuid(chat_id)
if cid is None:return err(request,400)
row=member_chat(conn,cid,user['id'])
return public_chat(conn,row) if row else err(request,404,'not_found','Чат не найден')
@app.post('/api/v1/chats/{chat_id}/messages',status_code=201)
def send(chat_id:str,body:CreateMessage,request:Request):
key=request.headers.get('Idempotency-Key','')
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key,flags=re.ASCII):
return err(request,400,'invalid_request','Требуется корректный Idempotency-Key')
if not body.text.strip() and not body.attachment_ids:return err(request,400)
if len(set(body.attachment_ids))!=len(body.attachment_ids):return err(request,400)
with transaction() as conn:
user,e=require(request,conn)
if e:return e
cid=parse_uuid(chat_id)
if cid is None:return err(request,400)
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
if body.attachment_ids:
found=conn.execute('SELECT count(*) AS n FROM attachments WHERE id=ANY(%s) AND chat_id=%s AND status=%s',(body.attachment_ids,cid,'ready')).fetchone()['n']
if found!=len(body.attachment_ids):return err(request,400)
# UNIQUE constraint serializes concurrent calls on all replicas.
# The message and idempotency record commit atomically.
fingerprint=hashlib.sha256(json.dumps({'text':body.text,'attachment_ids':[str(x) for x in body.attachment_ids]},sort_keys=True,separators=(',',':'),ensure_ascii=False).encode()).hexdigest()
conn.execute("""INSERT INTO message_idempotency(user_id,chat_id,key,fingerprint,message_id)
VALUES (%s,%s,%s,%s,NULL) ON CONFLICT DO NOTHING""",(user['id'],cid,key,fingerprint))
record=conn.execute("""SELECT fingerprint,message_id FROM message_idempotency
WHERE user_id=%s AND chat_id=%s AND key=%s FOR UPDATE""",(user['id'],cid,key)).fetchone()
if record['fingerprint']!=fingerprint:
return err(request,409,'conflict','Ключ уже использован для другого сообщения')
if record['message_id'] is not None:
row=conn.execute('SELECT * FROM messages WHERE id=%s',(record['message_id'],)).fetchone()
return public_message(row)
row=conn.execute('INSERT INTO messages(chat_id,sender_id,text,attachment_ids) VALUES (%s,%s,%s,%s) RETURNING *',(cid,user['id'],body.text,body.attachment_ids)).fetchone()
conn.execute("""UPDATE message_idempotency SET message_id=%s
WHERE user_id=%s AND chat_id=%s AND key=%s""",(row['id'],user['id'],cid,key))
return public_message(row)
@app.get('/api/v1/chats/{chat_id}/messages')
def list_messages(chat_id:str,request:Request,limit:int=50,cursor:str|None=None):
if not 1<=limit<=100:return err(request,400)
with db() as conn:
user,e=require(request,conn)
if e:return e
cid=parse_uuid(chat_id)
if cid is None:return err(request,400)
marker=decode_cursor(cursor,'messages:'+str(cid))
if marker is False:return err(request,400)
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
query='SELECT * FROM messages WHERE chat_id=%s';params=[cid]
if marker:
query+=' AND (created_at,id)>(%s,%s)';params.extend(marker)
rows=conn.execute(query+' ORDER BY created_at,id LIMIT %s',(*params,limit+1)).fetchall()
page=rows[:limit]
return {'items':[public_message(r) for r in page],'next_cursor':encode_cursor('messages:'+str(cid),page[-1]) if len(rows)>limit else None}
@app.post('/api/v1/chats/{chat_id}/attachments',status_code=201)
async def upload(chat_id:str,request:Request,filename:str=''):
if not filename or len(filename)>255 or filename in ('.','..') or '/' in filename or '\\' in filename or any(ord(c)<32 or ord(c)==127 for c in filename):
return err(request,400)
cid=parse_uuid(chat_id)
if cid is None:return err(request,400)
with db() as conn:
user,e=require(request,conn)
if e:return e
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
owner=user['id']
declared=request.headers.get('content-type','').split(';')[0].strip().lower()
if declared not in ('image/png','image/jpeg'):return err(request,400)
if request.headers.get('content-length'):
try:
if int(request.headers['content-length'])>10485760:return err(request,413,'payload_too_large','Файл слишком большой')
except ValueError:return err(request,400)
data=bytearray()
async for chunk in request.stream():
if len(data)+len(chunk)>10485760:return err(request,413,'payload_too_large','Файл слишком большой')
data.extend(chunk)
if not data:return err(request,400)
try:
Image.MAX_IMAGE_PIXELS=40000000
with Image.open(io.BytesIO(data)) as img:
actual={'PNG':'image/png','JPEG':'image/jpeg'}.get(img.format)
if actual!=declared or img.width*img.height>40000000:return err(request,400)
img.verify()
except (UnidentifiedImageError,ValueError,OSError,Image.DecompressionBombError,Image.DecompressionBombWarning):return err(request,400)
aid=uuid.uuid4()
object_key='attachments/'+str(cid)+'/'+str(aid)
try:
s3().put_object(Bucket=S3_BUCKET,Key=object_key,Body=bytes(data),ContentType=actual)
except (BotoCoreError,ClientError,Exception):return err(request,503,'storage_unavailable','S3 недоступно')
try:
with transaction() as conn:
row=conn.execute('INSERT INTO attachments(id,chat_id,owner_id,filename,content_type,size_bytes,sha256,status,object_key) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s) RETURNING *',(aid,cid,owner,filename,actual,len(data),hashlib.sha256(data).hexdigest(),'ready',object_key)).fetchone()
return public_attachment(row)
except Exception:
try:s3().delete_object(Bucket=S3_BUCKET,Key=object_key)
except Exception:pass
return err(request,503,'storage_unavailable','Не удалось сохранить метаданные')
def get_attachment_row(request,attachment_id):
aid=parse_uuid(attachment_id)
if aid is None:return None,err(request,400)
with db() as conn:
user,e=require(request,conn)
if e:return None,e
row=conn.execute('SELECT a.* FROM attachments a JOIN chat_members cm ON cm.chat_id=a.chat_id WHERE a.id=%s AND cm.user_id=%s',(aid,user['id'])).fetchone()
if row is None:return None,err(request,404,'not_found','Вложение не найдено')
return row,None
@app.get('/api/v1/attachments/{attachment_id}')
def attachment_metadata(attachment_id:str,request:Request):
row,e=get_attachment_row(request,attachment_id)
return e or public_attachment(row)
@app.get('/api/v1/attachments/{attachment_id}/content')
def attachment_content(attachment_id:str,request:Request,variant:str='original'):
row,e=get_attachment_row(request,attachment_id)
if e:return e
if variant!='original':return err(request,400)
try:
obj=s3().get_object(Bucket=S3_BUCKET,Key=row['object_key'])
data=obj['Body'].read(10485761)
if len(data)!=row['size_bytes'] or hashlib.sha256(data).hexdigest()!=row['sha256']:
return err(request,503,'storage_unavailable','Неверная контрольная сумма')
except Exception:return err(request,503,'storage_unavailable','S3 недоступно')
return Response(content=data,media_type=row['content_type'],headers={'Cache-Control':'private, no-store','Content-Disposition':'attachment; filename="image"'})
+14
View File
@@ -0,0 +1,14 @@
import os
from pathlib import Path
import psycopg
url=os.environ['DATABASE_URL']
with psycopg.connect(url) as conn:
with conn.transaction():
conn.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())')
conn.execute('SELECT pg_advisory_xact_lock(18202602)')
for path in sorted(Path(__file__).parent.joinpath('migrations').glob('*.sql')):
if not conn.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(path.name,)).fetchone():
conn.execute(path.read_text())
conn.execute('INSERT INTO schema_migrations(version) VALUES (%s)',(path.name,))
print('Applied',path.name)
print('Migrations complete')
+37
View File
@@ -0,0 +1,37 @@
CREATE TABLE IF NOT EXISTS users (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS chats (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
title varchar(100) NOT NULL CHECK (length(trim(title)) > 0),
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS chat_members (
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
PRIMARY KEY (chat_id,user_id)
);
CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id);
CREATE TABLE IF NOT EXISTS messages (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
sender_id uuid NOT NULL REFERENCES users(id),
text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0),
created_at timestamptz NOT NULL DEFAULT now(),
FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id)
);
CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id);
CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id);
CREATE TABLE IF NOT EXISTS sessions (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
token_hash char(64) NOT NULL UNIQUE,
expires_at timestamptz NOT NULL,
revoked_at timestamptz,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id);
+9
View File
@@ -0,0 +1,9 @@
CREATE TABLE IF NOT EXISTS message_idempotency (
user_id uuid NOT NULL REFERENCES users(id),
chat_id uuid NOT NULL REFERENCES chats(id),
key varchar(128) NOT NULL,
fingerprint char(64) NOT NULL,
message_id uuid REFERENCES messages(id),
created_at timestamptz NOT NULL DEFAULT now(),
PRIMARY KEY (user_id, chat_id, key)
);
+12
View File
@@ -0,0 +1,12 @@
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check;
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}';
ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0);
CREATE TABLE IF NOT EXISTS attachments (
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL,
content_type varchar(20) NOT NULL, size_bytes integer NOT NULL,
sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready',
object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(),
updated_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id);
+37
View File
@@ -0,0 +1,37 @@
CREATE TABLE IF NOT EXISTS users (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS chats (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
title varchar(100) NOT NULL CHECK (length(trim(title)) > 0),
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS chat_members (
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
PRIMARY KEY (chat_id,user_id)
);
CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id);
CREATE TABLE IF NOT EXISTS messages (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
sender_id uuid NOT NULL REFERENCES users(id),
text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0),
created_at timestamptz NOT NULL DEFAULT now(),
FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id)
);
CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id);
CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id);
CREATE TABLE IF NOT EXISTS sessions (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
token_hash char(64) NOT NULL UNIQUE,
expires_at timestamptz NOT NULL,
revoked_at timestamptz,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id);
@@ -0,0 +1,9 @@
CREATE TABLE IF NOT EXISTS message_idempotency (
user_id uuid NOT NULL REFERENCES users(id),
chat_id uuid NOT NULL REFERENCES chats(id),
key varchar(128) NOT NULL,
fingerprint char(64) NOT NULL,
message_id uuid REFERENCES messages(id),
created_at timestamptz NOT NULL DEFAULT now(),
PRIMARY KEY (user_id, chat_id, key)
);
+12
View File
@@ -0,0 +1,12 @@
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check;
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}';
ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0);
CREATE TABLE IF NOT EXISTS attachments (
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL,
content_type varchar(20) NOT NULL, size_bytes integer NOT NULL,
sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready',
object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(),
updated_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id);
+6
View File
@@ -0,0 +1,6 @@
fastapi==0.115.12
uvicorn==0.34.2
pydantic==2.11.4
psycopg[binary]==3.2.6
boto3==1.37.38
Pillow==11.1.0
+25
View File
@@ -0,0 +1,25 @@
import os
import time
import boto3
from botocore.config import Config
client = boto3.client(
's3', endpoint_url=os.getenv('S3_ENDPOINT', 'http://s3:8333'),
region_name='us-east-1',
aws_access_key_id=os.environ['S3_ACCESS_KEY_ID'],
aws_secret_access_key=os.environ['S3_SECRET_ACCESS_KEY'],
config=Config(connect_timeout=3, read_timeout=5, retries={'max_attempts': 1}),
)
bucket = os.getenv('S3_BUCKET', 'messenger-attachments')
for attempt in range(60):
try:
buckets = [x['Name'] for x in client.list_buckets().get('Buckets', [])]
if bucket not in buckets:
client.create_bucket(Bucket=bucket)
print('Private S3 bucket ready:', bucket)
break
except Exception as exc:
print('Waiting for S3:', str(exc), flush=True)
if attempt == 59:
raise
time.sleep(2)
+18
View File
@@ -0,0 +1,18 @@
@echo off
cd /d "%~dp0.."
echo Restarting PostgreSQL and S3...
docker compose --env-file .env restart postgres s3
if errorlevel 1 exit /b 1
echo Waiting for storage...
timeout /t 12 /nobreak >nul
echo Restarting API replicas and load balancer...
docker compose --env-file .env restart api1 api2 lb
if errorlevel 1 exit /b 1
echo Waiting for API...
timeout /t 5 /nobreak >nul
exit /b 0
+14
View File
@@ -0,0 +1,14 @@
@echo off
cd /d "%~dp0.."
if /I "%TARGET_INSTANCE_ID%"=="api1" (
docker compose --env-file .env stop api1 >nul 2>&1
exit /b %errorlevel%
)
if /I "%TARGET_INSTANCE_ID%"=="api2" (
docker compose --env-file .env stop api2 >nul 2>&1
exit /b %errorlevel%
)
exit /b 1