119 lines
4.8 KiB
Python
119 lines
4.8 KiB
Python
"""Загрузчик объектов профиля reconcile: PUT в S3 стенда мимо API.
|
|
|
|
Работает только в контейнере `vlad-bench-fill` на образе стенда: там есть
|
|
botocore (зависимость aiobotocore образа); `src` не импортируется. Модель
|
|
набора (номера, ключи, содержимое) — `bench/reconcile.py`, его копирует
|
|
рядом `bench/run.py` (`docker cp`). Ключи пользователя API — окружение
|
|
контейнера (`S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY`: `docker run -e
|
|
<имя>` без значения в argv); в вывод они не попадают.
|
|
|
|
Объекты — номера диапазона [--start, --end), у которых по модели есть
|
|
объект; несколько процессов по нескольку потоков, у каждого процесса свой
|
|
клиент. Вывод — одна строка JSON `{"objects", "put_per_s", "seconds"}`;
|
|
ошибка любого PUT — код 1.
|
|
"""
|
|
|
|
import argparse
|
|
import json
|
|
import os
|
|
import sys
|
|
import time
|
|
from concurrent.futures import ThreadPoolExecutor
|
|
from multiprocessing import Pool
|
|
from pathlib import Path
|
|
|
|
sys.path.insert(0, str(Path(__file__).resolve().parent))
|
|
|
|
import reconcile # noqa: E402
|
|
|
|
KEY_ENV = ("S3_ACCESS_KEY_ID", "S3_SECRET_ACCESS_KEY")
|
|
|
|
|
|
def client(endpoint: str, threads: int):
|
|
import botocore.session # noqa: PLC0415 - только в контейнере стенда
|
|
from botocore.config import Config # noqa: PLC0415
|
|
|
|
return botocore.session.get_session().create_client(
|
|
"s3",
|
|
endpoint_url=endpoint,
|
|
region_name="us-east-1",
|
|
aws_access_key_id=os.environ[KEY_ENV[0]],
|
|
aws_secret_access_key=os.environ[KEY_ENV[1]],
|
|
config=Config(
|
|
s3={"addressing_style": "path"},
|
|
retries={"total_max_attempts": 3},
|
|
max_pool_connections=threads,
|
|
),
|
|
)
|
|
|
|
|
|
def put_chunk(job: tuple[dict, list[int]]) -> int:
|
|
"""Один процесс: свой клиент, потоки по номерам; число записанных."""
|
|
args, indices = job
|
|
s3 = client(args["endpoint"], args["threads"])
|
|
|
|
def put(index: int) -> None:
|
|
attachment_id = reconcile.object_id(args["seed"], index)
|
|
s3.put_object(
|
|
Bucket=args["bucket"],
|
|
Key=reconcile.object_key(args["namespace"], attachment_id),
|
|
Body=reconcile.content(args["seed"], index, args["size"]),
|
|
ContentType=reconcile.CONTENT_TYPE,
|
|
)
|
|
|
|
with ThreadPoolExecutor(max_workers=args["threads"]) as pool:
|
|
for _ in pool.map(put, indices):
|
|
pass
|
|
return len(indices)
|
|
|
|
|
|
def main(argv: list[str]) -> int:
|
|
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
|
|
parser.add_argument("--endpoint", required=True)
|
|
parser.add_argument("--bucket", required=True)
|
|
parser.add_argument("--namespace", required=True)
|
|
parser.add_argument("--seed", type=int, required=True)
|
|
parser.add_argument("--start", type=int, required=True)
|
|
parser.add_argument("--end", type=int, required=True)
|
|
parser.add_argument("--size", type=int, required=True)
|
|
parser.add_argument("--force", choices=(reconcile.FORCE_OK,))
|
|
parser.add_argument("--processes", type=int, default=3)
|
|
parser.add_argument("--threads", type=int, default=16)
|
|
args = parser.parse_args(argv)
|
|
if not Path("/.dockerenv").exists():
|
|
print(json.dumps({"error": "run only in the bench container"}), flush=True)
|
|
return 2
|
|
if any(not os.environ.get(name) for name in KEY_ENV):
|
|
print(json.dumps({"error": f"{' and '.join(KEY_ENV)} required"}), flush=True)
|
|
return 2
|
|
indices = reconcile.object_indices(args.start, args.end, args.force)
|
|
parts = [indices[i :: args.processes] for i in range(args.processes)]
|
|
shared = {
|
|
key: getattr(args, key)
|
|
for key in ("endpoint", "bucket", "namespace", "seed", "size", "threads")
|
|
}
|
|
started = time.monotonic()
|
|
try:
|
|
with Pool(args.processes) as pool:
|
|
done = sum(pool.map(put_chunk, [(shared, p) for p in parts if p]))
|
|
except Exception as exc: # noqa: BLE001
|
|
# без текста исключения botocore: в нём адрес и заголовки запроса
|
|
print(json.dumps({"error": f"put failed ({type(exc).__name__})"}), flush=True)
|
|
return 1
|
|
seconds = time.monotonic() - started
|
|
print(
|
|
json.dumps(
|
|
{
|
|
"objects": done,
|
|
"put_per_s": round(done / seconds, 1) if seconds else 0.0,
|
|
"seconds": round(seconds, 2),
|
|
},
|
|
),
|
|
flush=True,
|
|
)
|
|
return 0 if done == len(indices) else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main(sys.argv[1:]))
|