forked from mtusi2026/mtusi2026lab4
Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
6a7f4ec7d4 |
@@ -0,0 +1,8 @@
|
||||
FROM python:3.12.9-slim
|
||||
WORKDIR /app
|
||||
COPY requirements.txt ./
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
COPY main.py migrate.py ./
|
||||
COPY migrations/ ./migrations/
|
||||
EXPOSE 8080
|
||||
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-graceful-shutdown", "8"]
|
||||
@@ -1,37 +1,79 @@
|
||||
# Отчёт — лабораторная 4
|
||||
# Лабораторная работа №4 — S3-хранилище и вложения
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
**Автор, группа:** Магазейщикова Дарья, БПИ2304
|
||||
**Целевая оценка:** 3
|
||||
**Стек:** Python 3.12 / FastAPI, PostgreSQL 16.8, SeaweedFS 3.80 (S3 API), Nginx 1.27.5, Docker Compose.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## 1. Цель
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Разделить хранение метаданных и бинарных файлов, добавить PNG/JPEG-вложения в сообщения и обеспечить скачивание оригиналов через любую из двух API-реплик после переключения балансировщика.
|
||||
|
||||
## Архитектура и решения
|
||||
## 2. Архитектура
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → Nginx (`localhost:8080`) → `api1` / `api2` → PostgreSQL (пользователи, сессии, чаты, сообщения, метаданные вложений) + SeaweedFS S3 (`http://s3:8333`, бинарное содержимое).
|
||||
|
||||
## Доказательства критериев
|
||||
API-реплики не используют локальный каталог для обязательного хранения оригиналов. Имя файла предназначено для отображения, а S3 object key генерирует сервер. Для PostgreSQL и SeaweedFS используются именованные тома `postgres_data` и `s3_data`. Сервисы `migrate` и `s3-init` завершаются с кодом 0 после выполнения своих задач. Инициализация создаёт bucket `messenger-attachments` при его отсутствии.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
В `infra/seaweedfs-s3.json` настроена S3-учётная запись. Конфигурация и `.env` должны содержать согласованные ключи; демонстрационные секреты допустимы только в изолированном учебном окружении и должны быть заменены перед публикацией/внешним развёртыванием. Порт S3 не опубликован на хост.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
## 3. Запуск из чистого клона
|
||||
|
||||
## Эксперименты и отказы
|
||||
Требуются Docker Desktop с Compose и Python 3.9+ для публичных тестов. Из корня репозитория:
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
```powershell
|
||||
Copy-Item .env.example .env
|
||||
notepad .env
|
||||
# Заполнить переменные PostgreSQL и S3 согласно compose.yaml и infra/seaweedfs-s3.json.
|
||||
$env:PYTHONUTF8 = "1"
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
docker compose ps -a
|
||||
curl.exe http://localhost:8080/health/ready
|
||||
python tests/smoke.py
|
||||
```
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Для Linux/macOS предусмотрены аналогичные команды `cp .env.example .env`, `docker compose ...` и `make test`. Проверка `make check` работает отдельно от запущенного приложения. При запуске из чистого клона необходимо убедиться, что файл `scripts/init_bucket.py` доступен внутри контейнера `s3-init` по пути `/app/scripts/init_bucket.py` (в текущем стенде используется bind mount в `compose.yaml`).
|
||||
|
||||
Миграции из каталога `migrations/` выполняются сервисом `migrate`, их учёт ведётся в `schema_migrations`. Инициализатор `s3-init` создаёт bucket через boto3 и может безопасно запускаться повторно.
|
||||
|
||||
## 4. Реализация вложений
|
||||
|
||||
При загрузке принимаются PNG/JPEG размером не более 10 MiB и не более 40 млн пикселей. MIME определяется по содержимому изображения, имя файла проверяется, размер ограничивается до неограниченного чтения/декодирования. Успешная синхронная загрузка возвращает `201` и состояние `ready`. Метаданные Attachment сохраняются в PostgreSQL, оригинальные байты — в приватном S3 bucket. Сообщение может ссылаться на `attachment_ids`; доступ к метаданным и скачиванию через API разрешён участникам чата.
|
||||
|
||||
Порядок операций: сначала загрузка объекта в S3, затем фиксация метаданных в БД. При ошибке БД предпринимается компенсирующее удаление объекта. При аварии между операциями возможен «осиротевший» объект; автоматическая фоновая очистка не реализована.
|
||||
|
||||
## 5. Фактические результаты проверок (Windows PowerShell, 12.11.2026)
|
||||
|
||||
| Проверка | Результат |
|
||||
|---|---|
|
||||
| `docker compose --env-file .env config --quiet` | PASS, без ошибок |
|
||||
| `docker compose --env-file .env up -d --build` | PASS после исправления пути `init_bucket.py` |
|
||||
| `docker compose ps -a` | PostgreSQL healthy, обе API healthy, Nginx и SeaweedFS running; `migrate` и `s3-init` exited (0) |
|
||||
| `GET /health/ready` | `{"status":"ok"}` |
|
||||
| `python tests/smoke.py` с `PYTHONUTF8=1` | `PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.` |
|
||||
| Persistence с `scripts/restart.cmd` | `PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.` |
|
||||
| Failover, запуск №1 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,785 с |
|
||||
| Failover, запуск №2 | PASS; 2 реплики до отказа; 97 успешных записей, 0 ошибок; восстановление 0,794 с |
|
||||
| `s3-init` | `Private S3 bucket ready: messenger-attachments` |
|
||||
| Анонимный GET `http://127.0.0.1:8333/messenger-attachments/test.png` из S3-контейнера | HTTP 403 Forbidden |
|
||||
|
||||
Команды проверки устойчивости:
|
||||
|
||||
```powershell
|
||||
$env:PYTHONUTF8 = "1"
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||||
docker compose --env-file .env up -d api1 api2
|
||||
```
|
||||
|
||||
Скрипт `restart.cmd` перезапускает PostgreSQL и S3, ожидает 12 секунд, затем перезапускает API и балансировщик и ожидает ещё 5 секунд; тома не удаляются. `stop-one.cmd` использует `TARGET_INSTANCE_ID` для остановки обслуживавшей реплики. После теста реплики восстановлены. Вывод тестов подтверждает сохранность данных и сессий, включая оригинал изображения для persistence в lab4.
|
||||
|
||||
**Границы доказательств:** два запуска failover прошли. Анонимный запрос вернул 403, но обращался к `test.png`, существование которого не доказано; для окончательного подтверждения приватности нужен анонимный GET реально загруженного object key. Также полезно приложить выводы `docker compose ps` до и после restart и остановки реплики. Публичный smoke не заменяет все негативные и инфраструктурные проверки.
|
||||
|
||||
## 6. Ограничения
|
||||
|
||||
- Единственный экземпляр PostgreSQL, SeaweedFS и Nginx остаётся точкой отказа; failover проверяет только API-реплики.
|
||||
- `/health/ready` не гарантирует мгновенную готовность S3 после его рестарта; для persistence используется ожидание в скрипте. В дальнейшем нужна зависимостная readiness-проверка.
|
||||
- Возможны orphan-объекты при аварийном завершении между записью в S3 и коммитом БД.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
|
||||
@@ -0,0 +1,98 @@
|
||||
x-api: &api
|
||||
build: .
|
||||
environment:
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
|
||||
depends_on:
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
restart: unless-stopped
|
||||
stop_grace_period: 12s
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 5
|
||||
start_period: 5s
|
||||
services:
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:3.80
|
||||
command: ["server", "-dir=/data", "-s3", "-s3.config=/etc/seaweedfs/s3.json"]
|
||||
volumes:
|
||||
- s3_data:/data
|
||||
- ./infra/seaweedfs-s3.json:/etc/seaweedfs/s3.json:ro
|
||||
restart: unless-stopped
|
||||
s3-init:
|
||||
build: .
|
||||
volumes:
|
||||
- ./scripts/init_bucket.py:/app/scripts/init_bucket.py:ro
|
||||
command: ["python", "scripts/init_bucket.py"]
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_started
|
||||
environment:
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
|
||||
restart: "no"
|
||||
postgres:
|
||||
image: postgres:16.8-alpine
|
||||
environment:
|
||||
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger_local_only}
|
||||
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
migrate:
|
||||
build: .
|
||||
command: ["python", "migrate.py"]
|
||||
environment:
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
restart: "no"
|
||||
api1:
|
||||
<<: *api
|
||||
environment:
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
INSTANCE_ID: api1
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
|
||||
api2:
|
||||
<<: *api
|
||||
environment:
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger_local_only}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||
INSTANCE_ID: api2
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-labminio}
|
||||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-labminio_secret_123}
|
||||
lb:
|
||||
image: nginx:1.27.5-alpine
|
||||
ports:
|
||||
- "8080:8080"
|
||||
volumes:
|
||||
- ./infra/nginx.conf:/etc/nginx/nginx.conf:ro
|
||||
depends_on:
|
||||
api1:
|
||||
condition: service_healthy
|
||||
api2:
|
||||
condition: service_healthy
|
||||
restart: unless-stopped
|
||||
volumes:
|
||||
postgres_data:
|
||||
s3_data:
|
||||
@@ -0,0 +1,20 @@
|
||||
events { worker_connections 1024; }
|
||||
http {
|
||||
upstream api_backend {
|
||||
server api1:8080 max_fails=1 fail_timeout=2s;
|
||||
server api2:8080 max_fails=1 fail_timeout=2s;
|
||||
}
|
||||
server {
|
||||
listen 8080;
|
||||
location / {
|
||||
proxy_pass http://api_backend;
|
||||
proxy_http_version 1.1;
|
||||
proxy_set_header Host $host;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
proxy_connect_timeout 1s;
|
||||
proxy_read_timeout 15s;
|
||||
proxy_next_upstream error timeout http_502 http_503 http_504;
|
||||
proxy_next_upstream_tries 2;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"identities": [
|
||||
{
|
||||
"name": "lab4-api",
|
||||
"credentials": [{"accessKey": "labminio", "secretKey": "labminio_secret_123"}],
|
||||
"actions": ["Admin", "Read", "Write", "List"]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,355 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import hmac
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import secrets
|
||||
import uuid
|
||||
from datetime import datetime, timezone, timedelta
|
||||
from contextlib import contextmanager
|
||||
|
||||
import psycopg
|
||||
from psycopg.rows import dict_row
|
||||
from fastapi import FastAPI, Request
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from fastapi.responses import JSONResponse, Response
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
import io
|
||||
import boto3
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||
|
||||
DATABASE_URL = os.environ.get('DATABASE_URL', 'postgresql://messenger:messenger@localhost:5432/messenger')
|
||||
INSTANCE_ID = os.environ.get('INSTANCE_ID', 'api-local')
|
||||
app = FastAPI(title='Messenger S3', version='1.4.0')
|
||||
S3_BUCKET=os.environ.get('S3_BUCKET','messenger-attachments')
|
||||
def s3():
|
||||
return boto3.client('s3',endpoint_url=os.environ.get('S3_ENDPOINT','http://s3:9000'),region_name='us-east-1',aws_access_key_id=os.environ.get('S3_ACCESS_KEY_ID'),aws_secret_access_key=os.environ.get('S3_SECRET_ACCESS_KEY'))
|
||||
|
||||
|
||||
def utc(value):
|
||||
return value.astimezone(timezone.utc).isoformat(timespec='milliseconds').replace('+00:00','Z')
|
||||
|
||||
def db():
|
||||
return psycopg.connect(DATABASE_URL, row_factory=dict_row)
|
||||
|
||||
@contextmanager
|
||||
def transaction():
|
||||
with db() as conn:
|
||||
with conn.transaction():
|
||||
yield conn
|
||||
|
||||
def public_user(row):
|
||||
return {k:(utc(row[k]) if k=='created_at' else str(row[k]) if k=='id' else row[k]) for k in ('id','username','display_name','created_at')}
|
||||
|
||||
def public_chat(conn, row):
|
||||
members=conn.execute('SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id',(row['id'],)).fetchall()
|
||||
return {'id':str(row['id']),'title':row['title'],'member_ids':[str(x['user_id']) for x in members],'created_at':utc(row['created_at'])}
|
||||
|
||||
def public_message(row):
|
||||
result={k:(utc(row[k]) if k=='created_at' else str(row[k]) if k in ('id','chat_id','sender_id') else row[k]) for k in ('id','chat_id','sender_id','text','created_at')}
|
||||
result['attachment_ids']=[str(v) for v in row.get('attachment_ids',[])]
|
||||
return result
|
||||
|
||||
def public_attachment(row):
|
||||
result={k:(utc(row[k]) if k in ('created_at','updated_at') else str(row[k]) if k in ('id','chat_id','owner_id') else row[k]) for k in ('id','chat_id','owner_id','filename','content_type','size_bytes','sha256','status','created_at','updated_at')}
|
||||
result.update(variants=[],error_code=None)
|
||||
return result
|
||||
|
||||
def err(request,status,code='invalid_request',message='Некорректный запрос',challenge=None):
|
||||
headers={'WWW-Authenticate':challenge} if challenge else {}
|
||||
return JSONResponse(status_code=status,headers=headers,content={'error':{'code':code,'message':message,'request_id':request.state.request_id}})
|
||||
|
||||
@app.middleware('http')
|
||||
async def middleware(request:Request, call_next):
|
||||
request.state.request_id=str(uuid.uuid4())
|
||||
try:
|
||||
response=await call_next(request)
|
||||
except Exception:
|
||||
response=err(request,500,'internal_error','Внутренняя ошибка сервера')
|
||||
response.headers['X-Request-Id']=request.state.request_id
|
||||
response.headers['X-Instance-Id']=INSTANCE_ID
|
||||
return response
|
||||
|
||||
@app.exception_handler(RequestValidationError)
|
||||
async def validation(request,exc):
|
||||
return err(request,400)
|
||||
|
||||
class Strict(BaseModel):
|
||||
model_config=ConfigDict(extra='forbid')
|
||||
class CreateUser(Strict):
|
||||
username:str=Field(min_length=3,max_length=32,pattern=r'^[a-z0-9_]{3,32}$')
|
||||
display_name:str=Field(min_length=1,max_length=100)
|
||||
password:str=Field(min_length=8,max_length=128)
|
||||
@field_validator('display_name')
|
||||
@classmethod
|
||||
def nonblank(cls,v):
|
||||
if not v.strip(): raise ValueError('blank')
|
||||
return v
|
||||
class CreateChat(Strict):
|
||||
title:str=Field(min_length=1,max_length=100)
|
||||
member_ids:list[uuid.UUID]=Field(min_length=1,max_length=100)
|
||||
@field_validator('title')
|
||||
@classmethod
|
||||
def nonblank(cls,v):
|
||||
if not v.strip(): raise ValueError('blank')
|
||||
return v
|
||||
class CreateMessage(Strict):
|
||||
text:str=Field(max_length=4000)
|
||||
attachment_ids:list[uuid.UUID]=Field(default_factory=list,max_length=10)
|
||||
@field_validator('text')
|
||||
@classmethod
|
||||
def nonblank(cls,v):
|
||||
return v
|
||||
|
||||
def password_hash(password):
|
||||
salt=secrets.token_bytes(16)
|
||||
result=hashlib.scrypt(password.encode(),salt=salt,n=16384,r=8,p=1)
|
||||
return 'scrypt$'+salt.hex()+'$'+result.hex()
|
||||
|
||||
def verify(password,encoded):
|
||||
try:
|
||||
_,salt,digest=encoded.split('$')
|
||||
candidate=hashlib.scrypt(password.encode(),salt=bytes.fromhex(salt),n=16384,r=8,p=1)
|
||||
return hmac.compare_digest(candidate,bytes.fromhex(digest))
|
||||
except (ValueError,TypeError): return False
|
||||
|
||||
def actor(request,conn):
|
||||
header=request.headers.get('authorization','')
|
||||
if not header.startswith('Bearer '): return None
|
||||
token=header[7:]
|
||||
if not token: return None
|
||||
digest=hashlib.sha256(token.encode()).hexdigest()
|
||||
return conn.execute('SELECT u.* FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token_hash=%s AND s.expires_at>now() AND s.revoked_at IS NULL',(digest,)).fetchone()
|
||||
|
||||
def require(request,conn):
|
||||
user=actor(request,conn)
|
||||
return user, None if user else err(request,401,'unauthorized','Требуется Bearer-сессия','Bearer')
|
||||
|
||||
def parse_uuid(value):
|
||||
try: return uuid.UUID(value)
|
||||
except (ValueError,TypeError): return None
|
||||
|
||||
def encode_cursor(resource,row):
|
||||
payload=json.dumps({'resource':resource,'created_at':row['created_at'].astimezone(timezone.utc).isoformat(timespec='microseconds'),'id':str(row['id'])},separators=(',',':'))
|
||||
return base64.urlsafe_b64encode(payload.encode()).decode().rstrip('=')
|
||||
|
||||
def decode_cursor(cursor,resource):
|
||||
if cursor is None: return None
|
||||
try:
|
||||
d=json.loads(base64.urlsafe_b64decode(cursor+'='*(-len(cursor)%4)))
|
||||
if set(d)!={'resource','created_at','id'} or d['resource']!=resource: return False
|
||||
return (datetime.fromisoformat(d['created_at'].replace('Z','+00:00')),uuid.UUID(d['id']))
|
||||
except Exception: return False
|
||||
|
||||
@app.get('/health/live')
|
||||
def live(): return {'status':'ok'}
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with db() as conn: conn.execute('SELECT 1')
|
||||
return {'status':'ok'}
|
||||
|
||||
@app.post('/api/v1/users',status_code=201)
|
||||
def register(body:CreateUser,request:Request):
|
||||
with transaction() as conn:
|
||||
if conn.execute('SELECT 1 FROM users WHERE username=%s',(body.username,)).fetchone():
|
||||
return err(request,409,'conflict','Имя пользователя занято')
|
||||
row=conn.execute('INSERT INTO users(username,display_name,password_hash) VALUES (%s,%s,%s) RETURNING *',(body.username,body.display_name,password_hash(body.password))).fetchone()
|
||||
return public_user(row)
|
||||
|
||||
@app.post('/api/v1/auth/sessions',status_code=201)
|
||||
def login(request:Request):
|
||||
auth=request.headers.get('authorization','')
|
||||
try:
|
||||
if not auth.startswith('Basic '): raise ValueError()
|
||||
credentials=base64.b64decode(auth[6:],validate=True).decode('utf-8')
|
||||
username,password=credentials.split(':',1)
|
||||
except (ValueError,UnicodeError): return err(request,401,'unauthorized','Неверные учётные данные','Basic')
|
||||
with transaction() as conn:
|
||||
user=conn.execute('SELECT * FROM users WHERE username=%s',(username,)).fetchone()
|
||||
if not user or not verify(password,user['password_hash']): return err(request,401,'unauthorized','Неверные учётные данные','Basic')
|
||||
token=secrets.token_urlsafe(48)
|
||||
expires=datetime.now(timezone.utc)+timedelta(hours=24)
|
||||
conn.execute('INSERT INTO sessions(user_id,token_hash,expires_at) VALUES (%s,%s,%s)',(user['id'],hashlib.sha256(token.encode()).hexdigest(),expires))
|
||||
return {'token':token,'token_type':'Bearer','expires_at':utc(expires),'user':public_user(user)}
|
||||
|
||||
@app.delete('/api/v1/auth/sessions/current',status_code=204)
|
||||
def logout(request:Request):
|
||||
with transaction() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
digest=hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest()
|
||||
conn.execute('UPDATE sessions SET revoked_at=now() WHERE token_hash=%s',(digest,))
|
||||
return Response(status_code=204)
|
||||
|
||||
@app.get('/api/v1/users/me')
|
||||
def me(request:Request):
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
return e or public_user(user)
|
||||
|
||||
@app.post('/api/v1/chats',status_code=201)
|
||||
def create_chat(body:CreateChat,request:Request):
|
||||
with transaction() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
members=body.member_ids
|
||||
if len(set(members))!=len(members) or user['id'] not in members:
|
||||
return err(request,400)
|
||||
found=conn.execute('SELECT count(*) AS n FROM users WHERE id=ANY(%s)',(members,)).fetchone()['n']
|
||||
if found!=len(members):return err(request,400)
|
||||
row=conn.execute('INSERT INTO chats(title) VALUES (%s) RETURNING *',(body.title,)).fetchone()
|
||||
for member in members: conn.execute('INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)',(row['id'],member))
|
||||
return public_chat(conn,row)
|
||||
|
||||
def member_chat(conn,chat_id,user_id):
|
||||
return conn.execute('SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE c.id=%s AND cm.user_id=%s',(chat_id,user_id)).fetchone()
|
||||
|
||||
@app.get('/api/v1/chats')
|
||||
def list_chats(request:Request,limit:int=50,cursor:str|None=None):
|
||||
if not 1<=limit<=100:return err(request,400)
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
marker=decode_cursor(cursor,'chats:'+str(user['id']))
|
||||
if marker is False:return err(request,400)
|
||||
query='SELECT c.* FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE cm.user_id=%s'
|
||||
params=[user['id']]
|
||||
if marker:
|
||||
query+=' AND (c.created_at,c.id)>(%s,%s)';params.extend(marker)
|
||||
rows=conn.execute(query+' ORDER BY c.created_at,c.id LIMIT %s',(*params,limit+1)).fetchall()
|
||||
page=rows[:limit]
|
||||
return {'items':[public_chat(conn,r) for r in page],'next_cursor':encode_cursor('chats:'+str(user['id']),page[-1]) if len(rows)>limit else None}
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}')
|
||||
def get_chat(chat_id:str,request:Request):
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
cid=parse_uuid(chat_id)
|
||||
if cid is None:return err(request,400)
|
||||
row=member_chat(conn,cid,user['id'])
|
||||
return public_chat(conn,row) if row else err(request,404,'not_found','Чат не найден')
|
||||
|
||||
@app.post('/api/v1/chats/{chat_id}/messages',status_code=201)
|
||||
def send(chat_id:str,body:CreateMessage,request:Request):
|
||||
key=request.headers.get('Idempotency-Key','')
|
||||
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key,flags=re.ASCII):
|
||||
return err(request,400,'invalid_request','Требуется корректный Idempotency-Key')
|
||||
if not body.text.strip() and not body.attachment_ids:return err(request,400)
|
||||
if len(set(body.attachment_ids))!=len(body.attachment_ids):return err(request,400)
|
||||
with transaction() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
cid=parse_uuid(chat_id)
|
||||
if cid is None:return err(request,400)
|
||||
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
|
||||
if body.attachment_ids:
|
||||
found=conn.execute('SELECT count(*) AS n FROM attachments WHERE id=ANY(%s) AND chat_id=%s AND status=%s',(body.attachment_ids,cid,'ready')).fetchone()['n']
|
||||
if found!=len(body.attachment_ids):return err(request,400)
|
||||
# UNIQUE constraint serializes concurrent calls on all replicas.
|
||||
# The message and idempotency record commit atomically.
|
||||
fingerprint=hashlib.sha256(json.dumps({'text':body.text,'attachment_ids':[str(x) for x in body.attachment_ids]},sort_keys=True,separators=(',',':'),ensure_ascii=False).encode()).hexdigest()
|
||||
conn.execute("""INSERT INTO message_idempotency(user_id,chat_id,key,fingerprint,message_id)
|
||||
VALUES (%s,%s,%s,%s,NULL) ON CONFLICT DO NOTHING""",(user['id'],cid,key,fingerprint))
|
||||
record=conn.execute("""SELECT fingerprint,message_id FROM message_idempotency
|
||||
WHERE user_id=%s AND chat_id=%s AND key=%s FOR UPDATE""",(user['id'],cid,key)).fetchone()
|
||||
if record['fingerprint']!=fingerprint:
|
||||
return err(request,409,'conflict','Ключ уже использован для другого сообщения')
|
||||
if record['message_id'] is not None:
|
||||
row=conn.execute('SELECT * FROM messages WHERE id=%s',(record['message_id'],)).fetchone()
|
||||
return public_message(row)
|
||||
row=conn.execute('INSERT INTO messages(chat_id,sender_id,text,attachment_ids) VALUES (%s,%s,%s,%s) RETURNING *',(cid,user['id'],body.text,body.attachment_ids)).fetchone()
|
||||
conn.execute("""UPDATE message_idempotency SET message_id=%s
|
||||
WHERE user_id=%s AND chat_id=%s AND key=%s""",(row['id'],user['id'],cid,key))
|
||||
return public_message(row)
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}/messages')
|
||||
def list_messages(chat_id:str,request:Request,limit:int=50,cursor:str|None=None):
|
||||
if not 1<=limit<=100:return err(request,400)
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
cid=parse_uuid(chat_id)
|
||||
if cid is None:return err(request,400)
|
||||
marker=decode_cursor(cursor,'messages:'+str(cid))
|
||||
if marker is False:return err(request,400)
|
||||
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
|
||||
query='SELECT * FROM messages WHERE chat_id=%s';params=[cid]
|
||||
if marker:
|
||||
query+=' AND (created_at,id)>(%s,%s)';params.extend(marker)
|
||||
rows=conn.execute(query+' ORDER BY created_at,id LIMIT %s',(*params,limit+1)).fetchall()
|
||||
page=rows[:limit]
|
||||
return {'items':[public_message(r) for r in page],'next_cursor':encode_cursor('messages:'+str(cid),page[-1]) if len(rows)>limit else None}
|
||||
|
||||
@app.post('/api/v1/chats/{chat_id}/attachments',status_code=201)
|
||||
async def upload(chat_id:str,request:Request,filename:str=''):
|
||||
if not filename or len(filename)>255 or filename in ('.','..') or '/' in filename or '\\' in filename or any(ord(c)<32 or ord(c)==127 for c in filename):
|
||||
return err(request,400)
|
||||
cid=parse_uuid(chat_id)
|
||||
if cid is None:return err(request,400)
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return e
|
||||
if not member_chat(conn,cid,user['id']):return err(request,404,'not_found','Чат не найден')
|
||||
owner=user['id']
|
||||
declared=request.headers.get('content-type','').split(';')[0].strip().lower()
|
||||
if declared not in ('image/png','image/jpeg'):return err(request,400)
|
||||
if request.headers.get('content-length'):
|
||||
try:
|
||||
if int(request.headers['content-length'])>10485760:return err(request,413,'payload_too_large','Файл слишком большой')
|
||||
except ValueError:return err(request,400)
|
||||
data=bytearray()
|
||||
async for chunk in request.stream():
|
||||
if len(data)+len(chunk)>10485760:return err(request,413,'payload_too_large','Файл слишком большой')
|
||||
data.extend(chunk)
|
||||
if not data:return err(request,400)
|
||||
try:
|
||||
Image.MAX_IMAGE_PIXELS=40000000
|
||||
with Image.open(io.BytesIO(data)) as img:
|
||||
actual={'PNG':'image/png','JPEG':'image/jpeg'}.get(img.format)
|
||||
if actual!=declared or img.width*img.height>40000000:return err(request,400)
|
||||
img.verify()
|
||||
except (UnidentifiedImageError,ValueError,OSError,Image.DecompressionBombError,Image.DecompressionBombWarning):return err(request,400)
|
||||
aid=uuid.uuid4()
|
||||
object_key='attachments/'+str(cid)+'/'+str(aid)
|
||||
try:
|
||||
s3().put_object(Bucket=S3_BUCKET,Key=object_key,Body=bytes(data),ContentType=actual)
|
||||
except (BotoCoreError,ClientError,Exception):return err(request,503,'storage_unavailable','S3 недоступно')
|
||||
try:
|
||||
with transaction() as conn:
|
||||
row=conn.execute('INSERT INTO attachments(id,chat_id,owner_id,filename,content_type,size_bytes,sha256,status,object_key) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s) RETURNING *',(aid,cid,owner,filename,actual,len(data),hashlib.sha256(data).hexdigest(),'ready',object_key)).fetchone()
|
||||
return public_attachment(row)
|
||||
except Exception:
|
||||
try:s3().delete_object(Bucket=S3_BUCKET,Key=object_key)
|
||||
except Exception:pass
|
||||
return err(request,503,'storage_unavailable','Не удалось сохранить метаданные')
|
||||
|
||||
def get_attachment_row(request,attachment_id):
|
||||
aid=parse_uuid(attachment_id)
|
||||
if aid is None:return None,err(request,400)
|
||||
with db() as conn:
|
||||
user,e=require(request,conn)
|
||||
if e:return None,e
|
||||
row=conn.execute('SELECT a.* FROM attachments a JOIN chat_members cm ON cm.chat_id=a.chat_id WHERE a.id=%s AND cm.user_id=%s',(aid,user['id'])).fetchone()
|
||||
if row is None:return None,err(request,404,'not_found','Вложение не найдено')
|
||||
return row,None
|
||||
|
||||
@app.get('/api/v1/attachments/{attachment_id}')
|
||||
def attachment_metadata(attachment_id:str,request:Request):
|
||||
row,e=get_attachment_row(request,attachment_id)
|
||||
return e or public_attachment(row)
|
||||
|
||||
@app.get('/api/v1/attachments/{attachment_id}/content')
|
||||
def attachment_content(attachment_id:str,request:Request,variant:str='original'):
|
||||
row,e=get_attachment_row(request,attachment_id)
|
||||
if e:return e
|
||||
if variant!='original':return err(request,400)
|
||||
try:
|
||||
obj=s3().get_object(Bucket=S3_BUCKET,Key=row['object_key'])
|
||||
data=obj['Body'].read(10485761)
|
||||
if len(data)!=row['size_bytes'] or hashlib.sha256(data).hexdigest()!=row['sha256']:
|
||||
return err(request,503,'storage_unavailable','Неверная контрольная сумма')
|
||||
except Exception:return err(request,503,'storage_unavailable','S3 недоступно')
|
||||
return Response(content=data,media_type=row['content_type'],headers={'Cache-Control':'private, no-store','Content-Disposition':'attachment; filename="image"'})
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
import os
|
||||
from pathlib import Path
|
||||
import psycopg
|
||||
url=os.environ['DATABASE_URL']
|
||||
with psycopg.connect(url) as conn:
|
||||
with conn.transaction():
|
||||
conn.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())')
|
||||
conn.execute('SELECT pg_advisory_xact_lock(18202602)')
|
||||
for path in sorted(Path(__file__).parent.joinpath('migrations').glob('*.sql')):
|
||||
if not conn.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(path.name,)).fetchone():
|
||||
conn.execute(path.read_text())
|
||||
conn.execute('INSERT INTO schema_migrations(version) VALUES (%s)',(path.name,))
|
||||
print('Applied',path.name)
|
||||
print('Migrations complete')
|
||||
@@ -0,0 +1,37 @@
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE TABLE IF NOT EXISTS chats (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
title varchar(100) NOT NULL CHECK (length(trim(title)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE TABLE IF NOT EXISTS chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
PRIMARY KEY (chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id);
|
||||
CREATE TABLE IF NOT EXISTS messages (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
sender_id uuid NOT NULL REFERENCES users(id),
|
||||
text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT now(),
|
||||
FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id);
|
||||
CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id);
|
||||
CREATE TABLE IF NOT EXISTS sessions (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
token_hash char(64) NOT NULL UNIQUE,
|
||||
expires_at timestamptz NOT NULL,
|
||||
revoked_at timestamptz,
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id);
|
||||
@@ -0,0 +1,9 @@
|
||||
CREATE TABLE IF NOT EXISTS message_idempotency (
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
key varchar(128) NOT NULL,
|
||||
fingerprint char(64) NOT NULL,
|
||||
message_id uuid REFERENCES messages(id),
|
||||
created_at timestamptz NOT NULL DEFAULT now(),
|
||||
PRIMARY KEY (user_id, chat_id, key)
|
||||
);
|
||||
@@ -0,0 +1,12 @@
|
||||
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check;
|
||||
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}';
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0);
|
||||
CREATE TABLE IF NOT EXISTS attachments (
|
||||
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL,
|
||||
content_type varchar(20) NOT NULL, size_bytes integer NOT NULL,
|
||||
sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready',
|
||||
object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(),
|
||||
updated_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id);
|
||||
@@ -0,0 +1,37 @@
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
username varchar(32) NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name varchar(100) NOT NULL CHECK (length(trim(display_name)) > 0),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE TABLE IF NOT EXISTS chats (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
title varchar(100) NOT NULL CHECK (length(trim(title)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE TABLE IF NOT EXISTS chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
PRIMARY KEY (chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id,chat_id);
|
||||
CREATE TABLE IF NOT EXISTS messages (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
sender_id uuid NOT NULL REFERENCES users(id),
|
||||
text varchar(4000) NOT NULL CHECK (length(trim(text)) > 0),
|
||||
created_at timestamptz NOT NULL DEFAULT now(),
|
||||
FOREIGN KEY (chat_id,sender_id) REFERENCES chat_members(chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_messages_page ON messages(chat_id,created_at,id);
|
||||
CREATE INDEX IF NOT EXISTS idx_chats_page ON chats(created_at,id);
|
||||
CREATE TABLE IF NOT EXISTS sessions (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
user_id uuid NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
token_hash char(64) NOT NULL UNIQUE,
|
||||
expires_at timestamptz NOT NULL,
|
||||
revoked_at timestamptz,
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id);
|
||||
@@ -0,0 +1,9 @@
|
||||
CREATE TABLE IF NOT EXISTS message_idempotency (
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
key varchar(128) NOT NULL,
|
||||
fingerprint char(64) NOT NULL,
|
||||
message_id uuid REFERENCES messages(id),
|
||||
created_at timestamptz NOT NULL DEFAULT now(),
|
||||
PRIMARY KEY (user_id, chat_id, key)
|
||||
);
|
||||
@@ -0,0 +1,12 @@
|
||||
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_check;
|
||||
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids uuid[] NOT NULL DEFAULT '{}';
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_content_check CHECK (length(trim(text))>0 OR cardinality(attachment_ids)>0);
|
||||
CREATE TABLE IF NOT EXISTS attachments (
|
||||
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
owner_id uuid NOT NULL REFERENCES users(id), filename varchar(255) NOT NULL,
|
||||
content_type varchar(20) NOT NULL, size_bytes integer NOT NULL,
|
||||
sha256 char(64) NOT NULL, status varchar(20) NOT NULL DEFAULT 'ready',
|
||||
object_key text NOT NULL UNIQUE, created_at timestamptz NOT NULL DEFAULT now(),
|
||||
updated_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_attachments_chat ON attachments(chat_id);
|
||||
@@ -0,0 +1,6 @@
|
||||
fastapi==0.115.12
|
||||
uvicorn==0.34.2
|
||||
pydantic==2.11.4
|
||||
psycopg[binary]==3.2.6
|
||||
boto3==1.37.38
|
||||
Pillow==11.1.0
|
||||
@@ -0,0 +1,25 @@
|
||||
import os
|
||||
import time
|
||||
import boto3
|
||||
from botocore.config import Config
|
||||
|
||||
client = boto3.client(
|
||||
's3', endpoint_url=os.getenv('S3_ENDPOINT', 'http://s3:8333'),
|
||||
region_name='us-east-1',
|
||||
aws_access_key_id=os.environ['S3_ACCESS_KEY_ID'],
|
||||
aws_secret_access_key=os.environ['S3_SECRET_ACCESS_KEY'],
|
||||
config=Config(connect_timeout=3, read_timeout=5, retries={'max_attempts': 1}),
|
||||
)
|
||||
bucket = os.getenv('S3_BUCKET', 'messenger-attachments')
|
||||
for attempt in range(60):
|
||||
try:
|
||||
buckets = [x['Name'] for x in client.list_buckets().get('Buckets', [])]
|
||||
if bucket not in buckets:
|
||||
client.create_bucket(Bucket=bucket)
|
||||
print('Private S3 bucket ready:', bucket)
|
||||
break
|
||||
except Exception as exc:
|
||||
print('Waiting for S3:', str(exc), flush=True)
|
||||
if attempt == 59:
|
||||
raise
|
||||
time.sleep(2)
|
||||
@@ -0,0 +1,18 @@
|
||||
@echo off
|
||||
cd /d "%~dp0.."
|
||||
|
||||
echo Restarting PostgreSQL and S3...
|
||||
docker compose --env-file .env restart postgres s3
|
||||
if errorlevel 1 exit /b 1
|
||||
|
||||
echo Waiting for storage...
|
||||
timeout /t 12 /nobreak >nul
|
||||
|
||||
echo Restarting API replicas and load balancer...
|
||||
docker compose --env-file .env restart api1 api2 lb
|
||||
if errorlevel 1 exit /b 1
|
||||
|
||||
echo Waiting for API...
|
||||
timeout /t 5 /nobreak >nul
|
||||
|
||||
exit /b 0
|
||||
@@ -0,0 +1,14 @@
|
||||
@echo off
|
||||
cd /d "%~dp0.."
|
||||
|
||||
if /I "%TARGET_INSTANCE_ID%"=="api1" (
|
||||
docker compose --env-file .env stop api1 >nul 2>&1
|
||||
exit /b %errorlevel%
|
||||
)
|
||||
|
||||
if /I "%TARGET_INSTANCE_ID%"=="api2" (
|
||||
docker compose --env-file .env stop api2 >nul 2>&1
|
||||
exit /b %errorlevel%
|
||||
)
|
||||
|
||||
exit /b 1
|
||||
Reference in New Issue
Block a user