forked from mtusi2026/mtusi2026lab4
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).
- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
и доказательства в evidence/, заполнен REPORT.md.
155 lines
7.8 KiB
Python
155 lines
7.8 KiB
Python
#!/usr/bin/env python3
|
|
"""Сверка PostgreSQL <-> S3 и очистка неучтённых объектов (compose-сервис `janitor`).
|
|
|
|
Инвариант записи (src/server.py): pending-строка фиксируется ДО S3 PUT, ready — после.
|
|
Поэтому любой объект в bucket либо имеет строку в attachments, либо остался от сбоя.
|
|
|
|
За один проход (под pg_try_advisory_lock — параллельные janitor не мешают друг другу):
|
|
1. abandoned: pending-строки старше grace -> удалить объект (идемпотентно), затем строку;
|
|
2. orphan: объекты originals/* старше grace без строки в БД -> удалить объект;
|
|
3. missing: ready-строки без объекта -> ТОЛЬКО отчёт (метаданные не удаляются
|
|
автоматически: это потеря данных, нужен человек).
|
|
|
|
Grace period (ATTACHMENT_GRACE_SECONDS, по умолчанию 3600 с) многократно больше
|
|
времени жизни загрузки (UPLOAD_TIMEOUT_SECONDS=60 + таймауты S3), поэтому ещё идущая
|
|
загрузка не может быть принята за брошенную. Даже если это случится, API переводит
|
|
строку в ready только из pending (UPDATE ... WHERE status='pending') и при неудаче
|
|
удаляет свой объект и отвечает 503 — ready-вложение janitor не трогает никогда.
|
|
|
|
Права: отдельные S3 credentials janitor = List+Write на bucket (без Read), API их не имеет.
|
|
|
|
python src/janitor.py --once --dry-run # только отчёт
|
|
python src/janitor.py --once # отчёт + исправление
|
|
python src/janitor.py --interval 300 # фоновый режим (сервис janitor)
|
|
"""
|
|
import argparse
|
|
import datetime as dt
|
|
import json
|
|
import logging
|
|
import os
|
|
import sys
|
|
import time
|
|
|
|
from server import OBJ, STORE
|
|
|
|
log = logging.getLogger("messenger.janitor")
|
|
JANITOR_LOCK_ID = 727002
|
|
PREFIX = "originals/"
|
|
HEARTBEAT = "/tmp/janitor.heartbeat" # healthcheck compose: файл обновляется не реже 30 с
|
|
|
|
|
|
def heartbeat():
|
|
with open(HEARTBEAT, "w") as f:
|
|
f.write(str(time.time()))
|
|
|
|
|
|
def run_once(grace_seconds, dry_run):
|
|
started = time.monotonic()
|
|
report = {"dry_run": dry_run, "grace_seconds": grace_seconds,
|
|
"abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 0,
|
|
"deleted_objects": 0, "deleted_rows": 0, "errors": 0}
|
|
with STORE.pool.connection() as conn:
|
|
conn.autocommit = True
|
|
if not conn.execute("SELECT pg_try_advisory_lock(%s) AS ok", (JANITOR_LOCK_ID,)).fetchone()["ok"]:
|
|
report["skipped"] = "another janitor is running"
|
|
return report
|
|
try:
|
|
now_db = conn.execute("SELECT now() AS t").fetchone()["t"]
|
|
cutoff = now_db - dt.timedelta(seconds=grace_seconds)
|
|
counts = conn.execute(
|
|
"SELECT status, count(*) AS n FROM attachments GROUP BY status").fetchall()
|
|
report["rows_by_status"] = {r["status"]: r["n"] for r in counts}
|
|
|
|
# 1. брошенные pending (сбой между записью намерения и ready)
|
|
abandoned = conn.execute(
|
|
"""SELECT id, object_key FROM attachments
|
|
WHERE status = 'pending' AND created_at < %s ORDER BY created_at""",
|
|
(cutoff,)).fetchall()
|
|
report["abandoned_pending"] = len(abandoned)
|
|
report["abandoned_ids"] = [str(r["id"]) for r in abandoned[:20]]
|
|
for row in abandoned:
|
|
if dry_run:
|
|
continue
|
|
try:
|
|
OBJ.delete(row["object_key"]) # сначала объект (идемпотентно)
|
|
report["deleted_objects"] += 1
|
|
deleted = conn.execute(
|
|
"DELETE FROM attachments WHERE id = %s AND status = 'pending'",
|
|
(row["id"],)).rowcount # потом строка
|
|
report["deleted_rows"] += deleted
|
|
except Exception as exc:
|
|
report["errors"] += 1
|
|
log.warning("abandoned %s not cleaned (%s)", row["id"], type(exc).__name__)
|
|
|
|
# 2/3. обход bucket и сравнение с БД. Момент начала обхода фиксируем по часам БД:
|
|
# строка, ставшая ready раньше, обязана иметь объект в листинге (PUT до ready).
|
|
list_started = conn.execute("SELECT now() AS t").fetchone()["t"]
|
|
listed = {}
|
|
for obj in OBJ.client.list_objects(OBJ.bucket, prefix=PREFIX, recursive=True):
|
|
listed[obj.object_name] = obj.last_modified
|
|
report["objects_total"] = len(listed)
|
|
known = set()
|
|
keys = list(listed)
|
|
for i in range(0, len(keys), 1000):
|
|
batch = keys[i:i + 1000]
|
|
for r in conn.execute("SELECT object_key FROM attachments WHERE object_key = ANY(%s)", (batch,)):
|
|
known.add(r["object_key"])
|
|
orphans = [k for k, mtime in listed.items()
|
|
if k not in known and mtime is not None and mtime < cutoff]
|
|
report["orphan_objects"] = len(orphans)
|
|
report["orphan_keys_sample"] = sorted(orphans)[:5]
|
|
for key in orphans:
|
|
if dry_run:
|
|
continue
|
|
try:
|
|
OBJ.delete(key)
|
|
report["deleted_objects"] += 1
|
|
except Exception as exc:
|
|
report["errors"] += 1
|
|
log.warning("orphan object not deleted (%s)", type(exc).__name__)
|
|
|
|
missing = [str(r["id"]) for r in conn.execute(
|
|
"""SELECT id, object_key FROM attachments WHERE status = 'ready' AND updated_at < %s""",
|
|
(list_started,)) if r["object_key"] not in listed]
|
|
report["missing_objects"] = len(missing)
|
|
report["missing_ids_sample"] = missing[:5]
|
|
if missing:
|
|
log.error("ready attachments without object: %d (manual investigation needed)", len(missing))
|
|
finally:
|
|
conn.execute("SELECT pg_advisory_unlock(%s)", (JANITOR_LOCK_ID,))
|
|
report["duration_ms"] = round((time.monotonic() - started) * 1000, 1)
|
|
return report
|
|
|
|
|
|
def main():
|
|
parser = argparse.ArgumentParser()
|
|
parser.add_argument("--once", action="store_true")
|
|
parser.add_argument("--dry-run", action="store_true")
|
|
parser.add_argument("--grace-seconds", type=int,
|
|
default=int(os.environ.get("ATTACHMENT_GRACE_SECONDS", "3600")))
|
|
parser.add_argument("--interval", type=int, default=int(os.environ.get("JANITOR_INTERVAL_SECONDS", "300")))
|
|
args = parser.parse_args()
|
|
if args.grace_seconds < 1:
|
|
parser.error("grace period must be positive")
|
|
STORE.open()
|
|
try:
|
|
while True:
|
|
try:
|
|
print(json.dumps(run_once(args.grace_seconds, args.dry_run), ensure_ascii=False), flush=True)
|
|
except Exception as exc:
|
|
log.warning("janitor pass failed (%s)", type(exc).__name__)
|
|
if args.once:
|
|
return 1
|
|
if args.once:
|
|
return 0
|
|
wake = time.monotonic() + args.interval
|
|
while time.monotonic() < wake:
|
|
heartbeat()
|
|
time.sleep(min(30, max(0.1, wake - time.monotonic())))
|
|
finally:
|
|
STORE.close()
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|