Files
mtusi2026lab4/bench/fill_objects.py
T

119 lines
4.8 KiB
Python

"""Загрузчик объектов профиля reconcile: PUT в S3 стенда мимо API.
Работает только в контейнере `vlad-bench-fill` на образе стенда: там есть
botocore (зависимость aiobotocore образа); `src` не импортируется. Модель
набора (номера, ключи, содержимое) — `bench/reconcile.py`, его копирует
рядом `bench/run.py` (`docker cp`). Ключи пользователя API — окружение
контейнера (`S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY`: `docker run -e
<имя>` без значения в argv); в вывод они не попадают.
Объекты — номера диапазона [--start, --end), у которых по модели есть
объект; несколько процессов по нескольку потоков, у каждого процесса свой
клиент. Вывод — одна строка JSON `{"objects", "put_per_s", "seconds"}`;
ошибка любого PUT — код 1.
"""
import argparse
import json
import os
import sys
import time
from concurrent.futures import ThreadPoolExecutor
from multiprocessing import Pool
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parent))
import reconcile # noqa: E402
KEY_ENV = ("S3_ACCESS_KEY_ID", "S3_SECRET_ACCESS_KEY")
def client(endpoint: str, threads: int):
import botocore.session # noqa: PLC0415 - только в контейнере стенда
from botocore.config import Config # noqa: PLC0415
return botocore.session.get_session().create_client(
"s3",
endpoint_url=endpoint,
region_name="us-east-1",
aws_access_key_id=os.environ[KEY_ENV[0]],
aws_secret_access_key=os.environ[KEY_ENV[1]],
config=Config(
s3={"addressing_style": "path"},
retries={"total_max_attempts": 3},
max_pool_connections=threads,
),
)
def put_chunk(job: tuple[dict, list[int]]) -> int:
"""Один процесс: свой клиент, потоки по номерам; число записанных."""
args, indices = job
s3 = client(args["endpoint"], args["threads"])
def put(index: int) -> None:
attachment_id = reconcile.object_id(args["seed"], index)
s3.put_object(
Bucket=args["bucket"],
Key=reconcile.object_key(args["namespace"], attachment_id),
Body=reconcile.content(args["seed"], index, args["size"]),
ContentType=reconcile.CONTENT_TYPE,
)
with ThreadPoolExecutor(max_workers=args["threads"]) as pool:
for _ in pool.map(put, indices):
pass
return len(indices)
def main(argv: list[str]) -> int:
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
parser.add_argument("--endpoint", required=True)
parser.add_argument("--bucket", required=True)
parser.add_argument("--namespace", required=True)
parser.add_argument("--seed", type=int, required=True)
parser.add_argument("--start", type=int, required=True)
parser.add_argument("--end", type=int, required=True)
parser.add_argument("--size", type=int, required=True)
parser.add_argument("--force", choices=(reconcile.FORCE_OK,))
parser.add_argument("--processes", type=int, default=3)
parser.add_argument("--threads", type=int, default=16)
args = parser.parse_args(argv)
if not Path("/.dockerenv").exists():
print(json.dumps({"error": "run only in the bench container"}), flush=True)
return 2
if any(not os.environ.get(name) for name in KEY_ENV):
print(json.dumps({"error": f"{' and '.join(KEY_ENV)} required"}), flush=True)
return 2
indices = reconcile.object_indices(args.start, args.end, args.force)
parts = [indices[i :: args.processes] for i in range(args.processes)]
shared = {
key: getattr(args, key)
for key in ("endpoint", "bucket", "namespace", "seed", "size", "threads")
}
started = time.monotonic()
try:
with Pool(args.processes) as pool:
done = sum(pool.map(put_chunk, [(shared, p) for p in parts if p]))
except Exception as exc: # noqa: BLE001
# без текста исключения botocore: в нём адрес и заголовки запроса
print(json.dumps({"error": f"put failed ({type(exc).__name__})"}), flush=True)
return 1
seconds = time.monotonic() - started
print(
json.dumps(
{
"objects": done,
"put_per_s": round(done / seconds, 1) if seconds else 0.0,
"seconds": round(seconds, 2),
},
),
flush=True,
)
return 0 if done == len(indices) else 1
if __name__ == "__main__":
sys.exit(main(sys.argv[1:]))