Перенесён минимум lab3. Добавлены загрузка/скачивание PNG/JPEG через API с потоковой проверкой целостности, метаданные в PostgreSQL и байты в приватном bucket, отдельный S3-пользователь с ограниченными правами, идемпотентный bootstrap bucket, компенсация и reconciler (трек 2), тесты отказов, эксперименты по памяти и согласованности.
33 lines
1003 B
Python
33 lines
1003 B
Python
#!/usr/bin/env python3
|
|
"""Run one DB<->S3 reconciliation pass. Default is dry-run; pass --apply to change anything."""
|
|
import argparse
|
|
import asyncio
|
|
import json
|
|
import sys
|
|
|
|
sys.path.insert(0, "/app")
|
|
|
|
from starlette.concurrency import run_in_threadpool # noqa: E402
|
|
|
|
from app import config, reconcile # noqa: E402
|
|
from app.db import Database # noqa: E402
|
|
from app.s3 import S3Storage # noqa: E402
|
|
|
|
|
|
async def main() -> None:
|
|
parser = argparse.ArgumentParser()
|
|
parser.add_argument("--apply", action="store_true", help="delete/mark; without it only reports")
|
|
parser.add_argument("--grace-seconds", type=int, default=config.RECONCILE_GRACE_SECONDS)
|
|
args = parser.parse_args()
|
|
db, s3 = Database(), S3Storage()
|
|
await db.open()
|
|
await run_in_threadpool(s3.open)
|
|
try:
|
|
print(json.dumps(await reconcile.run(db, s3, args.grace_seconds, dry_run=not args.apply), sort_keys=True))
|
|
finally:
|
|
await db.close()
|
|
|
|
|
|
if __name__ == "__main__":
|
|
asyncio.run(main())
|