Files
mtusi2026lab4/src/janitor.py
T
zemiles c5a07dc253 ЛР 4 — БПИ2303 — Лазарев — на 4
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).

- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
  временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
  и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
  сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
  attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
  идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
  178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
  и доказательства в evidence/, заполнен REPORT.md.
2026-11-07 01:44:58 +03:00

155 lines
7.8 KiB
Python

#!/usr/bin/env python3
"""Сверка PostgreSQL <-> S3 и очистка неучтённых объектов (compose-сервис `janitor`).
Инвариант записи (src/server.py): pending-строка фиксируется ДО S3 PUT, ready — после.
Поэтому любой объект в bucket либо имеет строку в attachments, либо остался от сбоя.
За один проход (под pg_try_advisory_lock — параллельные janitor не мешают друг другу):
1. abandoned: pending-строки старше grace -> удалить объект (идемпотентно), затем строку;
2. orphan: объекты originals/* старше grace без строки в БД -> удалить объект;
3. missing: ready-строки без объекта -> ТОЛЬКО отчёт (метаданные не удаляются
автоматически: это потеря данных, нужен человек).
Grace period (ATTACHMENT_GRACE_SECONDS, по умолчанию 3600 с) многократно больше
времени жизни загрузки (UPLOAD_TIMEOUT_SECONDS=60 + таймауты S3), поэтому ещё идущая
загрузка не может быть принята за брошенную. Даже если это случится, API переводит
строку в ready только из pending (UPDATE ... WHERE status='pending') и при неудаче
удаляет свой объект и отвечает 503 — ready-вложение janitor не трогает никогда.
Права: отдельные S3 credentials janitor = List+Write на bucket (без Read), API их не имеет.
python src/janitor.py --once --dry-run # только отчёт
python src/janitor.py --once # отчёт + исправление
python src/janitor.py --interval 300 # фоновый режим (сервис janitor)
"""
import argparse
import datetime as dt
import json
import logging
import os
import sys
import time
from server import OBJ, STORE
log = logging.getLogger("messenger.janitor")
JANITOR_LOCK_ID = 727002
PREFIX = "originals/"
HEARTBEAT = "/tmp/janitor.heartbeat" # healthcheck compose: файл обновляется не реже 30 с
def heartbeat():
with open(HEARTBEAT, "w") as f:
f.write(str(time.time()))
def run_once(grace_seconds, dry_run):
started = time.monotonic()
report = {"dry_run": dry_run, "grace_seconds": grace_seconds,
"abandoned_pending": 0, "orphan_objects": 0, "missing_objects": 0,
"deleted_objects": 0, "deleted_rows": 0, "errors": 0}
with STORE.pool.connection() as conn:
conn.autocommit = True
if not conn.execute("SELECT pg_try_advisory_lock(%s) AS ok", (JANITOR_LOCK_ID,)).fetchone()["ok"]:
report["skipped"] = "another janitor is running"
return report
try:
now_db = conn.execute("SELECT now() AS t").fetchone()["t"]
cutoff = now_db - dt.timedelta(seconds=grace_seconds)
counts = conn.execute(
"SELECT status, count(*) AS n FROM attachments GROUP BY status").fetchall()
report["rows_by_status"] = {r["status"]: r["n"] for r in counts}
# 1. брошенные pending (сбой между записью намерения и ready)
abandoned = conn.execute(
"""SELECT id, object_key FROM attachments
WHERE status = 'pending' AND created_at < %s ORDER BY created_at""",
(cutoff,)).fetchall()
report["abandoned_pending"] = len(abandoned)
report["abandoned_ids"] = [str(r["id"]) for r in abandoned[:20]]
for row in abandoned:
if dry_run:
continue
try:
OBJ.delete(row["object_key"]) # сначала объект (идемпотентно)
report["deleted_objects"] += 1
deleted = conn.execute(
"DELETE FROM attachments WHERE id = %s AND status = 'pending'",
(row["id"],)).rowcount # потом строка
report["deleted_rows"] += deleted
except Exception as exc:
report["errors"] += 1
log.warning("abandoned %s not cleaned (%s)", row["id"], type(exc).__name__)
# 2/3. обход bucket и сравнение с БД. Момент начала обхода фиксируем по часам БД:
# строка, ставшая ready раньше, обязана иметь объект в листинге (PUT до ready).
list_started = conn.execute("SELECT now() AS t").fetchone()["t"]
listed = {}
for obj in OBJ.client.list_objects(OBJ.bucket, prefix=PREFIX, recursive=True):
listed[obj.object_name] = obj.last_modified
report["objects_total"] = len(listed)
known = set()
keys = list(listed)
for i in range(0, len(keys), 1000):
batch = keys[i:i + 1000]
for r in conn.execute("SELECT object_key FROM attachments WHERE object_key = ANY(%s)", (batch,)):
known.add(r["object_key"])
orphans = [k for k, mtime in listed.items()
if k not in known and mtime is not None and mtime < cutoff]
report["orphan_objects"] = len(orphans)
report["orphan_keys_sample"] = sorted(orphans)[:5]
for key in orphans:
if dry_run:
continue
try:
OBJ.delete(key)
report["deleted_objects"] += 1
except Exception as exc:
report["errors"] += 1
log.warning("orphan object not deleted (%s)", type(exc).__name__)
missing = [str(r["id"]) for r in conn.execute(
"""SELECT id, object_key FROM attachments WHERE status = 'ready' AND updated_at < %s""",
(list_started,)) if r["object_key"] not in listed]
report["missing_objects"] = len(missing)
report["missing_ids_sample"] = missing[:5]
if missing:
log.error("ready attachments without object: %d (manual investigation needed)", len(missing))
finally:
conn.execute("SELECT pg_advisory_unlock(%s)", (JANITOR_LOCK_ID,))
report["duration_ms"] = round((time.monotonic() - started) * 1000, 1)
return report
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--once", action="store_true")
parser.add_argument("--dry-run", action="store_true")
parser.add_argument("--grace-seconds", type=int,
default=int(os.environ.get("ATTACHMENT_GRACE_SECONDS", "3600")))
parser.add_argument("--interval", type=int, default=int(os.environ.get("JANITOR_INTERVAL_SECONDS", "300")))
args = parser.parse_args()
if args.grace_seconds < 1:
parser.error("grace period must be positive")
STORE.open()
try:
while True:
try:
print(json.dumps(run_once(args.grace_seconds, args.dry_run), ensure_ascii=False), flush=True)
except Exception as exc:
log.warning("janitor pass failed (%s)", type(exc).__name__)
if args.once:
return 1
if args.once:
return 0
wake = time.monotonic() + args.interval
while time.monotonic() < wake:
heartbeat()
time.sleep(min(30, max(0.1, wake - time.monotonic())))
finally:
STORE.close()
if __name__ == "__main__":
sys.exit(main())