#!/usr/bin/env python3 """Пик памяти реплик API при одновременных загрузках файлов около 10 MiB и самых тяжёлых JPEG. Перед замером реплики перезапускаются, чтобы обнулить VmHWM (пик памяти процесса). Уровни идут по возрастанию, поэтому VmHWM после каждого уровня показывает пик этого уровня. memory.peak контейнера больше: в него входит кэш страниц временных файлов, который система может освободить. Последний уровень — прогрессивный CMYK JPEG на 40 млн пикселей: декодер держит коэффициенты всего изображения, это худший случай для памяти. Загрузки идут параллельно, декодирование по одному на реплику. """ import argparse import json import subprocess import sys import time import urllib.parse from concurrent.futures import ThreadPoolExecutor from pathlib import Path ROOT = Path(__file__).resolve().parents[1] sys.path.insert(0, str(ROOT / "student-tests")) from api import call, new_chat, new_user from samples import noisy_png LEVELS = (1, 10, 30) HEAVY_UPLOADS = 10 MAKE_HEAVY_JPEG = """ import sys from PIL import Image image = Image.effect_noise((7300 // 16, 5470 // 16), 40).resize((7300, 5470)).convert("CMYK") image.save(sys.stdout.buffer, "JPEG", quality=50, progressive=True) """ def compose(*args): command = ["docker", "compose", "--env-file", ".env", *args] return subprocess.run(command, cwd=ROOT, check=True, capture_output=True, text=True).stdout def memory(): result = {} for container in compose("ps", "-q", "api").split(): status = subprocess.check_output(["docker", "exec", container, "cat", "/proc/1/status"], text=True) fields = dict(line.split(":", 1) for line in status.splitlines() if ":" in line) peak = subprocess.check_output(["docker", "exec", container, "cat", "/sys/fs/cgroup/memory.peak"], text=True) result[container[:12]] = { "process_peak_rss_mib": round(int(fields["VmHWM"].split()[0]) / 1024, 1), "cgroup_peak_mib": round(int(peak) / 1024 / 1024, 1), } return result def wait_ready(): deadline = time.monotonic() + 60 seen = set() while time.monotonic() < deadline and len(seen) < 2: try: status, _, headers = call("GET", "/health/ready", timeout=2) if status == 200: seen.add(headers["X-Instance-Id"]) except OSError: pass time.sleep(0.2) def heavy_jpeg(): # в отдельном контейнере: создание такого файла требует много памяти, реплику это не должно затрагивать command = ["docker", "run", "--rm", "-i", "--memory=2g", "--entrypoint", "python", "mtusi-messenger:lab4", "-"] return subprocess.run(command, input=MAKE_HEAVY_JPEG.encode(), check=True, capture_output=True).stdout def main(): parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) parser.add_argument("--output") args = parser.parse_args() data = noisy_png(10 * 1024 * 1024 - 4096) compose("restart", "api") wait_ready() user = new_user("peak") chat = new_chat(user) path = "/api/v1/chats/%s/attachments?filename=peak.png" % urllib.parse.quote(chat["id"]) levels = [{"parallel_uploads": 0, "memory": memory()}] def run_level(level, content, content_type, label): started = time.monotonic() def post(_): sent = time.monotonic() headers = {"Content-Type": content_type} status = call("POST", path, raw=content, user=user, headers=headers, timeout=60)[0] return status, time.monotonic() - sent with ThreadPoolExecutor(max_workers=level) as pool: results = list(pool.map(post, range(level))) statuses = [status for status, _ in results] entry = { "file": label, "parallel_uploads": level, "file_bytes": len(content), "seconds": round(time.monotonic() - started, 2), "slowest_upload_s": round(max(took for _, took in results), 2), "statuses": {str(s): statuses.count(s) for s in sorted(set(statuses))}, "memory": memory(), } print(json.dumps(entry, ensure_ascii=False)) levels.append(entry) for level in LEVELS: run_level(level, data, "image/png", "PNG 10 MiB") run_level(HEAVY_UPLOADS, heavy_jpeg(), "image/jpeg", "прогрессивный CMYK JPEG, 40 млн пикселей") report = {"limit_per_replica_mib": 512, "replicas": 2, "levels": levels} if args.output: Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n") if any(set(level.get("statuses", {"201": 1})) != {"201"} for level in levels): raise SystemExit("FAIL: не все загрузки успешны") print("PASS: все загрузки успешны") if __name__ == "__main__": main()