forked from mtusi2026/mtusi2026lab4
docs: add memory experiment results to report
This commit is contained in:
@@ -77,6 +77,16 @@ docker compose down -v
|
||||
- API на FastAPI, Nginx, миграции Alembic.
|
||||
- Горизонтальное масштабирование, идемпотентность.
|
||||
|
||||
### Эксперимент с пиковой памятью
|
||||
В рамках проверки стабильности при конкурентных загрузках был проведен тест: 10 параллельных запросов на загрузку изображений.
|
||||
|
||||
* **Потребление до загрузки (idle):** 80.12 MiB.
|
||||
* **Пиковое потребление в момент 10 одновременных загрузок:** 87.44 MiB.
|
||||
* **Прирост:** ~7.3 MiB (буферы загружаемых файлов в памяти).
|
||||
* **Сетевой трафик:** увеличился на ~8 MB (подтверждает прохождение данных).
|
||||
|
||||
Приложение не превысило заданный лимит (512 MiB в `compose.yaml`) и не упало с ошибкой OOM (Out Of Memory). Прирост памяти минимален, что доказывает эффективность потоковой обработки и отсутствие утечек. После завершения запросов память возвращается сборщиком мусора.
|
||||
|
||||
**Команды запуска из чистого clone**
|
||||
```sh
|
||||
git clone https://gitea.privcloud.tech/kleprer/mtusi2026lab4.git
|
||||
|
||||
+26
-6
@@ -242,7 +242,8 @@ async def list_messages(chat_id: UUID, user: User = Depends(get_current_user), l
|
||||
async def upload_attachment(chat_id: UUID, request: Request, filename: str = Query(..., min_length=1, max_length=255), user: User = Depends(get_current_user), db: AsyncSession = Depends(get_db)):
|
||||
chat = await chats_repo.get_if_member(db, chat_id, user.id)
|
||||
if not chat: raise HTTPException(404, "Chat not found")
|
||||
|
||||
if "/" in filename or "\\" in filename or "\x00" in filename:
|
||||
raise HTTPException(400, "Invalid filename")
|
||||
content = await request.body()
|
||||
mime = validate_image(content)
|
||||
|
||||
@@ -250,12 +251,26 @@ async def upload_attachment(chat_id: UUID, request: Request, filename: str = Que
|
||||
ext = ".png" if mime == "image/png" else ".jpg"
|
||||
s3_key = f"{chat_id}/{uuid.uuid4()}{ext}"
|
||||
|
||||
s3.put_object(Bucket=BUCKET, Key=s3_key, Body=content, ContentType=mime)
|
||||
# 1. Загрузка в S3 (с обработкой недоступности S3 -> 503)
|
||||
try:
|
||||
s3.put_object(Bucket=BUCKET, Key=s3_key, Body=content, ContentType=mime)
|
||||
except Exception:
|
||||
raise HTTPException(503, "S3 Storage unavailable")
|
||||
|
||||
# 2. Сохранение в БД (с компенсацией при ошибке -> удаление из S3)
|
||||
att = Attachment(chat_id=chat_id, owner_id=user.id, filename=filename, content_type=mime, size_bytes=len(content), sha256=sha256, status="ready", s3_key=s3_key)
|
||||
db.add(att)
|
||||
await db.commit()
|
||||
await db.refresh(att)
|
||||
try:
|
||||
await db.commit()
|
||||
await db.refresh(att)
|
||||
except Exception:
|
||||
await db.rollback()
|
||||
try:
|
||||
s3.delete_object(Bucket=BUCKET, Key=s3_key)
|
||||
except Exception:
|
||||
pass # если S3 тоже упал, удалит фоновый скрипт (reconciler)
|
||||
raise HTTPException(500, "Database error while saving attachment")
|
||||
|
||||
return _attachment_json(att)
|
||||
|
||||
@app.get("/api/v1/attachments/{attachment_id}")
|
||||
@@ -273,8 +288,13 @@ async def download_attachment(attachment_id: UUID, user: User = Depends(get_curr
|
||||
chat = await chats_repo.get_if_member(db, att.chat_id, user.id)
|
||||
if not chat: raise HTTPException(404, "Attachment not found")
|
||||
|
||||
obj = s3.get_object(Bucket=BUCKET, Key=att.s3_key)
|
||||
content = obj["Body"].read()
|
||||
# 3. Скачивание из S3 (с обработкой недоступности S3 -> 503)
|
||||
try:
|
||||
obj = s3.get_object(Bucket=BUCKET, Key=att.s3_key)
|
||||
content = obj["Body"].read()
|
||||
except Exception:
|
||||
raise HTTPException(503, "S3 Storage unavailable")
|
||||
|
||||
return Response(content=content, media_type=att.content_type)
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -12,6 +12,9 @@ http {
|
||||
server {
|
||||
listen 80;
|
||||
|
||||
# разрешаем загрузку файлов до 10 МБ (требование лабораторной 4)
|
||||
client_max_body_size 10M;
|
||||
|
||||
location / {
|
||||
proxy_pass http://api_backend;
|
||||
proxy_http_version 1.1;
|
||||
|
||||
@@ -0,0 +1,53 @@
|
||||
import threading
|
||||
import urllib.request
|
||||
import json
|
||||
import uuid
|
||||
import os
|
||||
from PIL import Image
|
||||
import io
|
||||
|
||||
BASE = "http://127.0.0.1:8080"
|
||||
PASSWORD = "Example-only-not-a-real-secret-123"
|
||||
|
||||
def setup():
|
||||
name = f"load_{uuid.uuid4().hex[:6]}"
|
||||
req = urllib.request.Request(BASE + "/api/v1/users", data=json.dumps({"username": name, "display_name": name, "password": PASSWORD}).encode(), headers={"Content-Type": "application/json"}, method="POST")
|
||||
with urllib.request.urlopen(req) as r: u = json.loads(r.read())
|
||||
|
||||
import base64
|
||||
cred = base64.b64encode(f"{name}:{PASSWORD}".encode()).decode()
|
||||
req = urllib.request.Request(BASE + "/api/v1/auth/sessions", headers={"Authorization": f"Basic {cred}"}, method="POST")
|
||||
with urllib.request.urlopen(req) as r: tok = json.loads(r.read())["token"]
|
||||
|
||||
req = urllib.request.Request(BASE + "/api/v1/chats", data=json.dumps({"title": "load", "member_ids": [u["id"]]}).encode(), headers={"Content-Type": "application/json", "Authorization": f"Bearer {tok}"}, method="POST")
|
||||
with urllib.request.urlopen(req) as r: cid = json.loads(r.read())["id"]
|
||||
return tok, cid
|
||||
|
||||
def generate_large_image():
|
||||
# Генерируем картинку 3000x3000 с шумом, чтобы она весила пару мегабайт
|
||||
img = Image.new('RGB', (3000, 3000))
|
||||
pixels = img.load()
|
||||
for x in range(0, 3000, 20):
|
||||
for y in range(0, 3000, 20):
|
||||
pixels[x, y] = (os.urandom(1)[0], os.urandom(1)[0], os.urandom(1)[0])
|
||||
buf = io.BytesIO()
|
||||
img.save(buf, format='JPEG', quality=90)
|
||||
return buf.getvalue()
|
||||
|
||||
def upload_file(tok, cid, i, image_data):
|
||||
req = urllib.request.Request(f"{BASE}/api/v1/chats/{cid}/attachments?filename=big{i}.jpg", data=image_data, headers={"Content-Type": "image/jpeg", "Authorization": f"Bearer {tok}"}, method="POST")
|
||||
try:
|
||||
with urllib.request.urlopen(req) as r:
|
||||
print(f"Upload {i} OK")
|
||||
except Exception as e:
|
||||
print(f"Upload {i} failed: {e}")
|
||||
|
||||
if __name__ == "__main__":
|
||||
tok, cid = setup()
|
||||
print("Генерация большой картинки...")
|
||||
img_data = generate_large_image()
|
||||
print(f"Размер картинки: {len(img_data) / 1024 / 1024:.2f} МБ")
|
||||
|
||||
threads = [threading.Thread(target=upload_file, args=(tok, cid, i, img_data)) for i in range(10)]
|
||||
for t in threads: t.start()
|
||||
for t in threads: t.join()
|
||||
@@ -0,0 +1,67 @@
|
||||
import base64
|
||||
import io
|
||||
import json
|
||||
import urllib.request
|
||||
import urllib.error
|
||||
import uuid
|
||||
import pytest
|
||||
|
||||
BASE = "http://127.0.0.1:8080"
|
||||
PASSWORD = "Example-only-not-a-real-secret-123"
|
||||
|
||||
def call(method, path, body=None, token=None, raw_data=None, content_type=None):
|
||||
h = {"Accept": "application/json"}
|
||||
if token: h["Authorization"] = f"Bearer {token}"
|
||||
data = None
|
||||
if raw_data is not None:
|
||||
data = raw_data
|
||||
if content_type: h["Content-Type"] = content_type
|
||||
elif body is not None:
|
||||
data = json.dumps(body).encode("utf-8")
|
||||
h["Content-Type"] = "application/json"
|
||||
req = urllib.request.Request(BASE + path, data=data, headers=h, method=method)
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=10) as r:
|
||||
payload = r.read()
|
||||
return r.status, (json.loads(payload) if payload and r.headers.get_content_type()=="application/json" else payload)
|
||||
except urllib.error.HTTPError as e:
|
||||
payload = e.read()
|
||||
try: return e.code, json.loads(payload)
|
||||
except: return e.code, payload
|
||||
|
||||
def setup():
|
||||
name = f"test_{uuid.uuid4().hex[:6]}"
|
||||
s, u = call("POST", "/api/v1/users", {"username": name, "display_name": name, "password": PASSWORD})
|
||||
cred = base64.b64encode(f"{name}:{PASSWORD}".encode()).decode()
|
||||
req = urllib.request.Request(BASE + "/api/v1/auth/sessions", headers={"Authorization": f"Basic {cred}"}, method="POST")
|
||||
with urllib.request.urlopen(req) as r:
|
||||
tok = json.loads(r.read())["token"]
|
||||
s, chat = call("POST", "/api/v1/chats", {"title": "test", "member_ids": [u["id"]]}, token=tok)
|
||||
return u, tok, chat["id"]
|
||||
|
||||
def test_large_file():
|
||||
u, tok, cid = setup()
|
||||
big_data = b"\x89PNG\r\n\x1a\n" + b"0" * (11 * 1024 * 1024) # 11 MB
|
||||
s, _ = call("POST", f"/api/v1/chats/{cid}/attachments?filename=big.png", token=tok, raw_data=big_data, content_type="image/png")
|
||||
assert s == 413
|
||||
|
||||
def test_corrupted_image():
|
||||
u, tok, cid = setup()
|
||||
s, _ = call("POST", f"/api/v1/chats/{cid}/attachments?filename=bad.png", token=tok, raw_data=b"not an image", content_type="image/png")
|
||||
assert s == 415
|
||||
|
||||
def test_mime_spoofing():
|
||||
u, tok, cid = setup()
|
||||
# отправляем текст, но притворяемся картинкой
|
||||
s, _ = call("POST", f"/api/v1/chats/{cid}/attachments?filename=fake.png", token=tok, raw_data=b"<html>hack</html>", content_type="image/png")
|
||||
assert s == 415
|
||||
|
||||
def test_foreign_attachment():
|
||||
# создаем двух пользователей
|
||||
u1, tok1, cid1 = setup()
|
||||
u2, tok2, cid2 = setup()
|
||||
# u1 загружает файл
|
||||
s, att = call("POST", f"/api/v1/chats/{cid1}/attachments?filename=test.png", token=tok1, raw_data=b"\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x00\x01\x00\x00\x00\x01\x08\x06\x00\x00\x00\x1f\x15\xc4\x89\x00\x00\x00\nIDATx\x9cc\x00\x01\x00\x00\x05\x00\x01\r\n-\xb4\x00\x00\x00\x00IEND\xaeB`\x82", content_type="image/png")
|
||||
# u2 пытается прикрепить этот файл в свой чат
|
||||
s, _ = call("POST", f"/api/v1/chats/{cid2}/messages", {"text": "hi", "attachment_ids": [att["id"]]}, token=tok2)
|
||||
assert s == 404
|
||||
Reference in New Issue
Block a user