Files
mtusi2026lab6/bench/fill_objects.py
T

120 lines
5.0 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Загрузчик объектов профиля reconcile: PUT в S3 стенда мимо API.
Запускается исключительно внутри `vlad-bench-fill`, контейнера на образе
стенда: botocore там уже есть, потому что от него зависит aiobotocore, а
пакет `src` скрипт не трогает. Номера, ключи и байты берутся из
`bench/reconcile.py` — `bench/run.py` кладёт его рядом через `docker cp`.
Ключи пользователя API приходят только из окружения контейнера
(`S3_ACCESS_KEY_ID` и `S3_SECRET_ACCESS_KEY`, передаются как `docker run
-e <имя>`, без значения в командной строке) и никуда не печатаются.
Пишутся те номера из [--start, --end), которым модель назначает объект.
Работа делится между процессами, у каждого свой клиент и пул потоков. На
выходе одна JSON-строка с полями objects, put_per_s и seconds; хотя бы
один неудачный PUT даёт код 1.
"""
import argparse
import json
import os
import sys
import time
from concurrent.futures import ThreadPoolExecutor
from multiprocessing import Pool
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parent))
import reconcile # noqa: E402
KEY_ENV = ("S3_ACCESS_KEY_ID", "S3_SECRET_ACCESS_KEY")
def client(endpoint: str, threads: int):
import botocore.session # noqa: PLC0415 - только в контейнере стенда
from botocore.config import Config # noqa: PLC0415
return botocore.session.get_session().create_client(
"s3",
endpoint_url=endpoint,
region_name="us-east-1",
aws_access_key_id=os.environ[KEY_ENV[0]],
aws_secret_access_key=os.environ[KEY_ENV[1]],
config=Config(
s3={"addressing_style": "path"},
retries={"total_max_attempts": 3},
max_pool_connections=threads,
),
)
def put_chunk(job: tuple[dict, list[int]]) -> int:
"""Тело рабочего процесса: создать клиента, раздать номера потокам, вернуть их число."""
args, indices = job
s3 = client(args["endpoint"], args["threads"])
def put(index: int) -> None:
attachment_id = reconcile.object_id(args["seed"], index)
s3.put_object(
Bucket=args["bucket"],
Key=reconcile.object_key(args["namespace"], attachment_id),
Body=reconcile.content(args["seed"], index, args["size"]),
ContentType=reconcile.CONTENT_TYPE,
)
with ThreadPoolExecutor(max_workers=args["threads"]) as pool:
for _ in pool.map(put, indices):
pass
return len(indices)
def main(argv: list[str]) -> int:
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
parser.add_argument("--endpoint", required=True)
parser.add_argument("--bucket", required=True)
parser.add_argument("--namespace", required=True)
parser.add_argument("--seed", type=int, required=True)
parser.add_argument("--start", type=int, required=True)
parser.add_argument("--end", type=int, required=True)
parser.add_argument("--size", type=int, required=True)
parser.add_argument("--force", choices=(reconcile.FORCE_OK,))
parser.add_argument("--processes", type=int, default=3)
parser.add_argument("--threads", type=int, default=16)
args = parser.parse_args(argv)
if not Path("/.dockerenv").exists():
print(json.dumps({"error": "run only in the bench container"}), flush=True)
return 2
if any(not os.environ.get(name) for name in KEY_ENV):
print(json.dumps({"error": f"{' and '.join(KEY_ENV)} required"}), flush=True)
return 2
indices = reconcile.object_indices(args.start, args.end, args.force)
parts = [indices[i :: args.processes] for i in range(args.processes)]
shared = {
key: getattr(args, key)
for key in ("endpoint", "bucket", "namespace", "seed", "size", "threads")
}
started = time.monotonic()
try:
with Pool(args.processes) as pool:
done = sum(pool.map(put_chunk, [(shared, p) for p in parts if p]))
except Exception as exc: # noqa: BLE001
# печатаем лишь тип: сообщение botocore может содержать URL и заголовки
print(json.dumps({"error": f"put failed ({type(exc).__name__})"}), flush=True)
return 1
seconds = time.monotonic() - started
print(
json.dumps(
{
"objects": done,
"put_per_s": round(done / seconds, 1) if seconds else 0.0,
"seconds": round(seconds, 2),
},
),
flush=True,
)
return 0 if done == len(indices) else 1
if __name__ == "__main__":
sys.exit(main(sys.argv[1:]))