Files
mtusi2026lab6/src/app/reconcile.py
T

92 lines
5.4 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Сверка S3 и PostgreSQL (reconcile): python -m app.reconcile [--apply] [--grace СЕКУНДЫ] [--prefix att/]
Находит и (с --apply) безопасно исправляет расхождения двух хранилищ:
* orphan_object — объект в S3 без строки в attachments (сбой между записью в S3 и COMMIT метаданных, прерванная загрузка);
удаляется ТОЛЬКО если старше grace (по умолчанию ORPHAN_GRACE_SECONDS=900 с): свежий объект может быть
загрузкой, метаданные которой ещё не зафиксированы;
* missing_object — строка attachments (ready) без объекта в S3 (потеря/удаление объекта): строка НЕ удаляется,
статус -> failed, error_code=object_missing (сообщения со ссылкой остаются, скачивание даёт 409);
* size_mismatch — размер объекта не совпадает с size_bytes: статус -> failed, error_code=size_mismatch.
Режим по умолчанию — dry-run (ничего не меняет). Повторный запуск идемпотентен. Используемые (привязанные к сообщению)
вложения и свежие объекты не удаляются никогда: удаляются только объекты, у которых нет строки в БД.
Выход: JSON-отчёт со счётчиками и временем обхода.
"""
import argparse
import asyncio
import json
import time
from datetime import datetime, timedelta, timezone
import asyncpg
from . import config
from .s3 import S3
async def reconcile(apply, grace, prefix):
started = time.perf_counter()
s3 = S3()
await s3.start()
conn = await asyncpg.connect(config.DATABASE_URL, timeout=5)
try:
t0 = time.perf_counter()
rows = await conn.fetch("SELECT id, s3_key, size_bytes, status, created_at FROM attachments")
db_ms = (time.perf_counter() - t0) * 1000
by_key = {r["s3_key"]: r for r in rows}
t0 = time.perf_counter()
objects = {}
async for key, size, modified in s3.list_keys(prefix):
objects[key] = (size, modified)
list_ms = (time.perf_counter() - t0) * 1000
now = datetime.now(timezone.utc)
cutoff = now - timedelta(seconds=grace)
report = {"mode": "apply" if apply else "dry-run", "grace_seconds": grace, "db_rows": len(rows), "s3_objects": len(objects),
"orphan_objects": [], "orphans_skipped_fresh": 0, "missing_objects": [], "size_mismatch": [], "fixed": {"deleted_orphans": 0, "marked_failed": 0}}
for key, (size, modified) in objects.items():
row = by_key.get(key)
if row is None:
if modified < cutoff:
report["orphan_objects"].append(key)
else:
report["orphans_skipped_fresh"] += 1
elif row["status"] == "ready" and row["size_bytes"] != size:
report["size_mismatch"].append(str(row["id"]))
for key, row in by_key.items():
if key.startswith(prefix) and key not in objects and row["status"] == "ready" and row["created_at"] < cutoff:
report["missing_objects"].append(str(row["id"]))
if apply:
for key in report["orphan_objects"]:
# повторная проверка перед удалением: за время обхода строка могла появиться
if await conn.fetchval("SELECT 1 FROM attachments WHERE s3_key = $1", key) is None:
await s3.delete(key)
report["fixed"]["deleted_orphans"] += 1
for ids, code in ((report["missing_objects"], "object_missing"), (report["size_mismatch"], "size_mismatch")):
for att_id in ids:
n = await conn.execute("UPDATE attachments SET status = 'failed', error_code = $2, updated_at = now() "
"WHERE id = $1 AND status = 'ready'", att_id, code)
report["fixed"]["marked_failed"] += int(n.split()[-1])
report["timing_ms"] = {"db_query": round(db_ms, 1), "s3_listing": round(list_ms, 1),
"total": round((time.perf_counter() - started) * 1000, 1)}
return report
finally:
await conn.close()
await s3.stop()
def main():
ap = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
ap.add_argument("--apply", action="store_true", help="исправлять (по умолчанию dry-run)")
ap.add_argument("--grace", type=int, default=config.ORPHAN_GRACE_SECONDS)
ap.add_argument("--prefix", default="att/")
ap.add_argument("--max-listed", type=int, default=20, help="сколько идентификаторов печатать в отчёте")
args = ap.parse_args()
report = asyncio.run(reconcile(args.apply, args.grace, args.prefix))
for k in ("orphan_objects", "missing_objects", "size_mismatch"):
report[k + "_count"] = len(report[k])
report[k] = report[k][:args.max_listed]
print(json.dumps(report, ensure_ascii=False, indent=2))
if __name__ == "__main__":
main()