120 lines
5.0 KiB
Python
120 lines
5.0 KiB
Python
"""Загрузчик объектов профиля reconcile: PUT в S3 стенда мимо API.
|
||
|
||
Запускается исключительно внутри `vlad-bench-fill`, контейнера на образе
|
||
стенда: botocore там уже есть, потому что от него зависит aiobotocore, а
|
||
пакет `src` скрипт не трогает. Номера, ключи и байты берутся из
|
||
`bench/reconcile.py` — `bench/run.py` кладёт его рядом через `docker cp`.
|
||
Ключи пользователя API приходят только из окружения контейнера
|
||
(`S3_ACCESS_KEY_ID` и `S3_SECRET_ACCESS_KEY`, передаются как `docker run
|
||
-e <имя>`, без значения в командной строке) и никуда не печатаются.
|
||
|
||
Пишутся те номера из [--start, --end), которым модель назначает объект.
|
||
Работа делится между процессами, у каждого свой клиент и пул потоков. На
|
||
выходе одна JSON-строка с полями objects, put_per_s и seconds; хотя бы
|
||
один неудачный PUT даёт код 1.
|
||
"""
|
||
|
||
import argparse
|
||
import json
|
||
import os
|
||
import sys
|
||
import time
|
||
from concurrent.futures import ThreadPoolExecutor
|
||
from multiprocessing import Pool
|
||
from pathlib import Path
|
||
|
||
sys.path.insert(0, str(Path(__file__).resolve().parent))
|
||
|
||
import reconcile # noqa: E402
|
||
|
||
KEY_ENV = ("S3_ACCESS_KEY_ID", "S3_SECRET_ACCESS_KEY")
|
||
|
||
|
||
def client(endpoint: str, threads: int):
|
||
import botocore.session # noqa: PLC0415 - только в контейнере стенда
|
||
from botocore.config import Config # noqa: PLC0415
|
||
|
||
return botocore.session.get_session().create_client(
|
||
"s3",
|
||
endpoint_url=endpoint,
|
||
region_name="us-east-1",
|
||
aws_access_key_id=os.environ[KEY_ENV[0]],
|
||
aws_secret_access_key=os.environ[KEY_ENV[1]],
|
||
config=Config(
|
||
s3={"addressing_style": "path"},
|
||
retries={"total_max_attempts": 3},
|
||
max_pool_connections=threads,
|
||
),
|
||
)
|
||
|
||
|
||
def put_chunk(job: tuple[dict, list[int]]) -> int:
|
||
"""Тело рабочего процесса: создать клиента, раздать номера потокам, вернуть их число."""
|
||
args, indices = job
|
||
s3 = client(args["endpoint"], args["threads"])
|
||
|
||
def put(index: int) -> None:
|
||
attachment_id = reconcile.object_id(args["seed"], index)
|
||
s3.put_object(
|
||
Bucket=args["bucket"],
|
||
Key=reconcile.object_key(args["namespace"], attachment_id),
|
||
Body=reconcile.content(args["seed"], index, args["size"]),
|
||
ContentType=reconcile.CONTENT_TYPE,
|
||
)
|
||
|
||
with ThreadPoolExecutor(max_workers=args["threads"]) as pool:
|
||
for _ in pool.map(put, indices):
|
||
pass
|
||
return len(indices)
|
||
|
||
|
||
def main(argv: list[str]) -> int:
|
||
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
|
||
parser.add_argument("--endpoint", required=True)
|
||
parser.add_argument("--bucket", required=True)
|
||
parser.add_argument("--namespace", required=True)
|
||
parser.add_argument("--seed", type=int, required=True)
|
||
parser.add_argument("--start", type=int, required=True)
|
||
parser.add_argument("--end", type=int, required=True)
|
||
parser.add_argument("--size", type=int, required=True)
|
||
parser.add_argument("--force", choices=(reconcile.FORCE_OK,))
|
||
parser.add_argument("--processes", type=int, default=3)
|
||
parser.add_argument("--threads", type=int, default=16)
|
||
args = parser.parse_args(argv)
|
||
if not Path("/.dockerenv").exists():
|
||
print(json.dumps({"error": "run only in the bench container"}), flush=True)
|
||
return 2
|
||
if any(not os.environ.get(name) for name in KEY_ENV):
|
||
print(json.dumps({"error": f"{' and '.join(KEY_ENV)} required"}), flush=True)
|
||
return 2
|
||
indices = reconcile.object_indices(args.start, args.end, args.force)
|
||
parts = [indices[i :: args.processes] for i in range(args.processes)]
|
||
shared = {
|
||
key: getattr(args, key)
|
||
for key in ("endpoint", "bucket", "namespace", "seed", "size", "threads")
|
||
}
|
||
started = time.monotonic()
|
||
try:
|
||
with Pool(args.processes) as pool:
|
||
done = sum(pool.map(put_chunk, [(shared, p) for p in parts if p]))
|
||
except Exception as exc: # noqa: BLE001
|
||
# печатаем лишь тип: сообщение botocore может содержать URL и заголовки
|
||
print(json.dumps({"error": f"put failed ({type(exc).__name__})"}), flush=True)
|
||
return 1
|
||
seconds = time.monotonic() - started
|
||
print(
|
||
json.dumps(
|
||
{
|
||
"objects": done,
|
||
"put_per_s": round(done / seconds, 1) if seconds else 0.0,
|
||
"seconds": round(seconds, 2),
|
||
},
|
||
),
|
||
flush=True,
|
||
)
|
||
return 0 if done == len(indices) else 1
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main(sys.argv[1:]))
|