Files
mtusi2026lab4/scripts/upload_peak.py

121 lines
5.3 KiB
Python
Executable File

#!/usr/bin/env python3
"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB и самых тяжёлых JPEG.
Перед замером реплики перезапускаются, чтобы обнулить VmHWM (пик памяти процесса). Уровни идут по
возрастанию, поэтому VmHWM после каждого уровня показывает пик этого уровня. memory.peak контейнера
больше: в него входит кэш страниц временных файлов, который система может освободить.
Последний уровень — прогрессивный CMYK JPEG на 40 млн пикселей: декодер держит коэффициенты всего
изображения, это худший случай для памяти. Загрузки идут параллельно, декодирование по одному на реплику.
"""
import argparse
import json
import subprocess
import sys
import time
import urllib.parse
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "student-tests"))
from api import call, new_chat, new_user
from samples import noisy_png
LEVELS = (1, 10, 30)
HEAVY_UPLOADS = 10
MAKE_HEAVY_JPEG = """
import sys
from PIL import Image
image = Image.effect_noise((7300 // 16, 5470 // 16), 40).resize((7300, 5470)).convert("CMYK")
image.save(sys.stdout.buffer, "JPEG", quality=50, progressive=True)
"""
def compose(*args):
command = ["docker", "compose", "--env-file", ".env", *args]
return subprocess.run(command, cwd=ROOT, check=True, capture_output=True, text=True).stdout
def memory():
result = {}
for container in compose("ps", "-q", "api").split():
status = subprocess.check_output(["docker", "exec", container, "cat", "/proc/1/status"], text=True)
fields = dict(line.split(":", 1) for line in status.splitlines() if ":" in line)
peak = subprocess.check_output(["docker", "exec", container, "cat", "/sys/fs/cgroup/memory.peak"], text=True)
result[container[:12]] = {
"process_peak_rss_mib": round(int(fields["VmHWM"].split()[0]) / 1024, 1),
"cgroup_peak_mib": round(int(peak) / 1024 / 1024, 1),
}
return result
def wait_ready():
deadline = time.monotonic() + 60
seen = set()
while time.monotonic() < deadline and len(seen) < 2:
try:
status, _, headers = call("GET", "/health/ready", timeout=2)
if status == 200:
seen.add(headers["X-Instance-Id"])
except OSError:
pass
time.sleep(0.2)
def heavy_jpeg():
# в отдельном контейнере: создание такого файла требует много памяти, реплику это не должно затрагивать
command = ["docker", "run", "--rm", "-i", "--memory=2g", "--entrypoint", "python", "mtusi-messenger:lab4", "-"]
return subprocess.run(command, input=MAKE_HEAVY_JPEG.encode(), check=True, capture_output=True).stdout
def main():
parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
parser.add_argument("--output")
args = parser.parse_args()
data = noisy_png(10 * 1024 * 1024 - 4096)
compose("restart", "api")
wait_ready()
user = new_user("peak")
chat = new_chat(user)
path = "/api/v1/chats/%s/attachments?filename=peak.png" % urllib.parse.quote(chat["id"])
levels = [{"parallel_uploads": 0, "memory": memory()}]
def run_level(level, content, content_type, label):
started = time.monotonic()
def post(_):
sent = time.monotonic()
headers = {"Content-Type": content_type}
status = call("POST", path, raw=content, user=user, headers=headers, timeout=60)[0]
return status, time.monotonic() - sent
with ThreadPoolExecutor(max_workers=level) as pool:
results = list(pool.map(post, range(level)))
statuses = [status for status, _ in results]
entry = {
"file": label,
"parallel_uploads": level,
"file_bytes": len(content),
"seconds": round(time.monotonic() - started, 2),
"slowest_upload_s": round(max(took for _, took in results), 2),
"statuses": {str(s): statuses.count(s) for s in sorted(set(statuses))},
"memory": memory(),
}
print(json.dumps(entry, ensure_ascii=False))
levels.append(entry)
for level in LEVELS:
run_level(level, data, "image/png", "PNG 10 MiB")
run_level(HEAVY_UPLOADS, heavy_jpeg(), "image/jpeg", "прогрессивный CMYK JPEG, 40 млн пикселей")
report = {"limit_per_replica_mib": 512, "replicas": 2, "levels": levels}
if args.output:
Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
if any(set(level.get("statuses", {"201": 1})) != {"201"} for level in levels):
raise SystemExit("FAIL: не все загрузки успешны")
print("PASS: все загрузки успешны")
if __name__ == "__main__":
main()