forked from mtusi2026/mtusi2026lab6
92 lines
5.4 KiB
Python
92 lines
5.4 KiB
Python
"""Сверка S3 и PostgreSQL (reconcile): python -m app.reconcile [--apply] [--grace СЕКУНДЫ] [--prefix att/]
|
||
|
||
Находит и (с --apply) безопасно исправляет расхождения двух хранилищ:
|
||
* orphan_object — объект в S3 без строки в attachments (сбой между записью в S3 и COMMIT метаданных, прерванная загрузка);
|
||
удаляется ТОЛЬКО если старше grace (по умолчанию ORPHAN_GRACE_SECONDS=900 с): свежий объект может быть
|
||
загрузкой, метаданные которой ещё не зафиксированы;
|
||
* missing_object — строка attachments (ready) без объекта в S3 (потеря/удаление объекта): строка НЕ удаляется,
|
||
статус -> failed, error_code=object_missing (сообщения со ссылкой остаются, скачивание даёт 409);
|
||
* size_mismatch — размер объекта не совпадает с size_bytes: статус -> failed, error_code=size_mismatch.
|
||
Режим по умолчанию — dry-run (ничего не меняет). Повторный запуск идемпотентен. Используемые (привязанные к сообщению)
|
||
вложения и свежие объекты не удаляются никогда: удаляются только объекты, у которых нет строки в БД.
|
||
Выход: JSON-отчёт со счётчиками и временем обхода.
|
||
"""
|
||
import argparse
|
||
import asyncio
|
||
import json
|
||
import time
|
||
from datetime import datetime, timedelta, timezone
|
||
|
||
import asyncpg
|
||
|
||
from . import config
|
||
from .s3 import S3
|
||
|
||
|
||
async def reconcile(apply, grace, prefix):
|
||
started = time.perf_counter()
|
||
s3 = S3()
|
||
await s3.start()
|
||
conn = await asyncpg.connect(config.DATABASE_URL, timeout=5)
|
||
try:
|
||
t0 = time.perf_counter()
|
||
rows = await conn.fetch("SELECT id, s3_key, size_bytes, status, created_at FROM attachments")
|
||
db_ms = (time.perf_counter() - t0) * 1000
|
||
by_key = {r["s3_key"]: r for r in rows}
|
||
t0 = time.perf_counter()
|
||
objects = {}
|
||
async for key, size, modified in s3.list_keys(prefix):
|
||
objects[key] = (size, modified)
|
||
list_ms = (time.perf_counter() - t0) * 1000
|
||
now = datetime.now(timezone.utc)
|
||
cutoff = now - timedelta(seconds=grace)
|
||
report = {"mode": "apply" if apply else "dry-run", "grace_seconds": grace, "db_rows": len(rows), "s3_objects": len(objects),
|
||
"orphan_objects": [], "orphans_skipped_fresh": 0, "missing_objects": [], "size_mismatch": [], "fixed": {"deleted_orphans": 0, "marked_failed": 0}}
|
||
for key, (size, modified) in objects.items():
|
||
row = by_key.get(key)
|
||
if row is None:
|
||
if modified < cutoff:
|
||
report["orphan_objects"].append(key)
|
||
else:
|
||
report["orphans_skipped_fresh"] += 1
|
||
elif row["status"] == "ready" and row["size_bytes"] != size:
|
||
report["size_mismatch"].append(str(row["id"]))
|
||
for key, row in by_key.items():
|
||
if key.startswith(prefix) and key not in objects and row["status"] == "ready" and row["created_at"] < cutoff:
|
||
report["missing_objects"].append(str(row["id"]))
|
||
if apply:
|
||
for key in report["orphan_objects"]:
|
||
# повторная проверка перед удалением: за время обхода строка могла появиться
|
||
if await conn.fetchval("SELECT 1 FROM attachments WHERE s3_key = $1", key) is None:
|
||
await s3.delete(key)
|
||
report["fixed"]["deleted_orphans"] += 1
|
||
for ids, code in ((report["missing_objects"], "object_missing"), (report["size_mismatch"], "size_mismatch")):
|
||
for att_id in ids:
|
||
n = await conn.execute("UPDATE attachments SET status = 'failed', error_code = $2, updated_at = now() "
|
||
"WHERE id = $1 AND status = 'ready'", att_id, code)
|
||
report["fixed"]["marked_failed"] += int(n.split()[-1])
|
||
report["timing_ms"] = {"db_query": round(db_ms, 1), "s3_listing": round(list_ms, 1),
|
||
"total": round((time.perf_counter() - started) * 1000, 1)}
|
||
return report
|
||
finally:
|
||
await conn.close()
|
||
await s3.stop()
|
||
|
||
|
||
def main():
|
||
ap = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||
ap.add_argument("--apply", action="store_true", help="исправлять (по умолчанию dry-run)")
|
||
ap.add_argument("--grace", type=int, default=config.ORPHAN_GRACE_SECONDS)
|
||
ap.add_argument("--prefix", default="att/")
|
||
ap.add_argument("--max-listed", type=int, default=20, help="сколько идентификаторов печатать в отчёте")
|
||
args = ap.parse_args()
|
||
report = asyncio.run(reconcile(args.apply, args.grace, args.prefix))
|
||
for k in ("orphan_objects", "missing_objects", "size_mismatch"):
|
||
report[k + "_count"] = len(report[k])
|
||
report[k] = report[k][:args.max_listed]
|
||
print(json.dumps(report, ensure_ascii=False, indent=2))
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|