forked from mtusi2026/mtusi2026lab4
Уровень 3: - код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose, идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой - метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер - upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности, безопасный filename; 201 только после PUT и COMMIT; download потоком через API - attachment_ids в сообщениях (только файлы своего чата, FK в БД) - 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness Уровень 4: - 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД - компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти - эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты; исправлены удержание соединения БД во время загрузки и таймаут отправки в S3 Уровень 5, трек 2: - reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period, перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose - 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение, безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
150 lines
7.8 KiB
Python
150 lines
7.8 KiB
Python
#!/usr/bin/env python3
|
||
"""Оборванная загрузка и объекты-сироты: что остаётся в хранилищах и как это убирается.
|
||
|
||
1. Клиент обрывает соединение посреди тела запроса -> ни объекта в S3, ни строки в БД.
|
||
2. «PUT прошёл, COMMIT и компенсация — нет»: такие объекты кладутся в bucket напрямую (credentials API),
|
||
без строк в attachments. Сам путь кода (откат БД -> попытка удаления -> сирота) проверяют pytest-тесты
|
||
test_commit_failure_after_put_deletes_object и test_orphan_left_by_failed_compensation_*.
|
||
3. Сверка (тот же образ и команда, что у сервиса reconciler):
|
||
dry-run с grace 1 ч (сироты свежие — не трогаем) -> dry-run с grace 0 (видим, не удаляем)
|
||
-> apply с grace 0 (удаляем) -> повторный apply (ничего не находит). Используемые файлы целы.
|
||
|
||
Запуск из venv при поднятом стенде: python scripts/orphan_experiment.py
|
||
"""
|
||
import argparse
|
||
import base64
|
||
import hashlib
|
||
import io
|
||
import json
|
||
import os
|
||
import socket
|
||
import subprocess
|
||
import sys
|
||
import time
|
||
import urllib.error
|
||
import urllib.request
|
||
import uuid
|
||
from pathlib import Path
|
||
from urllib.parse import urlsplit
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
os.chdir(ROOT) # .env и secrets/ читаются относительно корня
|
||
sys.path.insert(0, str(ROOT / "app"))
|
||
from core import s3 # noqa: E402 (настройки из .env: MinIO на 127.0.0.1, рабочий bucket)
|
||
|
||
PNG = (ROOT / "tests" / "fixtures" / "sample.png").read_bytes()
|
||
|
||
|
||
def call(base, method, path, body=None, headers=None):
|
||
req = urllib.request.Request(base + path, data=body, method=method, headers=headers or {})
|
||
try:
|
||
with urllib.request.urlopen(req, timeout=30) as resp:
|
||
return resp.status, resp.read()
|
||
except urllib.error.HTTPError as exc:
|
||
return exc.code, exc.read()
|
||
|
||
|
||
def run(*args):
|
||
return subprocess.run(list(args), check=True, cwd=ROOT, capture_output=True, text=True).stdout
|
||
|
||
|
||
def snapshot():
|
||
rows = int(run("docker", "compose", "exec", "-T", "postgres", "psql", "-U", "messenger", "-d", "messenger",
|
||
"-tAc", "SELECT count(*) FROM attachments").strip())
|
||
return {"attachment_rows": rows, "objects": sum(1 for _ in s3.list_objects("originals/"))}
|
||
|
||
|
||
def cleaner(*flags):
|
||
out = run("docker", "compose", "run", "--rm", "--no-deps", "reconciler",
|
||
"python", "-m", "maintenance.reconcile", *flags)
|
||
report = json.loads(out.strip().splitlines()[-1])
|
||
return {"mode": report["mode"], "grace_seconds": report["grace_seconds"],
|
||
"objects_scanned": report["objects_scanned"], "ok": report["ok"],
|
||
"orphans_fresh_kept": report["issues"]["orphan_object_fresh"],
|
||
"orphans_found": report["issues"]["orphan_object"],
|
||
"deleted": report["actions"]["objects_deleted"], "seconds": report["seconds"]["total"]}
|
||
|
||
|
||
def interrupted_upload(base, token, chat_id, declared, sent):
|
||
"""Заявить Content-Length=declared, отправить sent байт и закрыть соединение."""
|
||
url = urlsplit(base)
|
||
head = (f"POST /api/v1/chats/{chat_id}/attachments?filename=cut.png HTTP/1.1\r\n"
|
||
f"Host: {url.netloc}\r\nAuthorization: Bearer {token}\r\nContent-Type: image/png\r\n"
|
||
f"Content-Length: {declared}\r\n\r\n").encode()
|
||
with socket.create_connection((url.hostname, url.port or 80), timeout=10) as sock:
|
||
sock.sendall(head + (PNG * (sent // len(PNG) + 1))[:sent])
|
||
time.sleep(0.5)
|
||
# with закрыл сокет посреди тела.
|
||
|
||
|
||
def main():
|
||
parser = argparse.ArgumentParser()
|
||
parser.add_argument("--base-url", default="http://localhost:8080")
|
||
parser.add_argument("--orphans", type=int, default=3)
|
||
parser.add_argument("--output", default=str(ROOT / "evidence" / "orphan-cleanup.json"))
|
||
args = parser.parse_args()
|
||
base = args.base_url.rstrip("/")
|
||
|
||
username, password = f"orph_{uuid.uuid4().hex[:8]}", "orphan-experiment-pass"
|
||
user = json.loads(call(base, "POST", "/api/v1/users", json.dumps(
|
||
{"username": username, "display_name": "orph", "password": password}).encode(),
|
||
{"Content-Type": "application/json"})[1])
|
||
basic = base64.b64encode(f"{username}:{password}".encode()).decode()
|
||
token = json.loads(call(base, "POST", "/api/v1/auth/sessions", headers={"Authorization": "Basic " + basic})[1])["token"]
|
||
auth = {"Authorization": "Bearer " + token}
|
||
chat_id = json.loads(call(base, "POST", "/api/v1/chats", json.dumps(
|
||
{"title": "orphans", "member_ids": [user["id"]]}).encode(), {"Content-Type": "application/json", **auth})[1])["id"]
|
||
|
||
# Используемый файл: загружен и прикреплён к сообщению — очистка не должна его тронуть.
|
||
status, data = call(base, "POST", f"/api/v1/chats/{chat_id}/attachments?filename=keep.png", PNG,
|
||
{"Content-Type": "image/png", **auth})
|
||
kept = json.loads(data)["id"]
|
||
call(base, "POST", f"/api/v1/chats/{chat_id}/messages", json.dumps({"text": "", "attachment_ids": [kept]}).encode(),
|
||
{"Content-Type": "application/json", "Idempotency-Key": uuid.uuid4().hex, **auth})
|
||
|
||
report = {"start": snapshot()}
|
||
|
||
# 1. Оборванная загрузка.
|
||
interrupted_upload(base, token, chat_id, declared=9 * 1024 * 1024, sent=2 * 1024 * 1024)
|
||
time.sleep(2)
|
||
report["after_interrupted_upload"] = snapshot()
|
||
logs = run("docker", "compose", "logs", "api", "--since", "1m")
|
||
report["api_logged_interrupt"] = "Загрузка прервана клиентом" in logs
|
||
|
||
# 2. Сироты: объект в S3 без строки в БД.
|
||
for _ in range(args.orphans):
|
||
s3.put_object(f"originals/{uuid.uuid4()}", PNG, "image/png", hashlib.sha256(PNG).hexdigest())
|
||
report["after_orphans_injected"] = snapshot()
|
||
|
||
# 3. Очистка.
|
||
report["cleanup_dry_run_grace_default"] = cleaner()
|
||
report["cleanup_dry_run_grace_0"] = cleaner("--grace-seconds", "0")
|
||
report["after_dry_runs"] = snapshot()
|
||
report["cleanup_apply_grace_0"] = cleaner("--apply", "--grace-seconds", "0")
|
||
report["cleanup_apply_again"] = cleaner("--apply", "--grace-seconds", "0")
|
||
report["end"] = snapshot()
|
||
|
||
status, data = call(base, "GET", f"/api/v1/attachments/{kept}/content", headers=auth)
|
||
report["kept_attachment_download"] = {"status": status, "sha256_matches": hashlib.sha256(data).digest()
|
||
== hashlib.sha256(PNG).digest()}
|
||
|
||
start, end = report["start"], report["end"]
|
||
ok = (report["after_interrupted_upload"] == start
|
||
and report["after_orphans_injected"]["objects"] == start["objects"] + args.orphans
|
||
and report["cleanup_dry_run_grace_default"]["orphans_fresh_kept"] == args.orphans
|
||
and report["cleanup_dry_run_grace_default"]["deleted"] == 0
|
||
and report["cleanup_dry_run_grace_0"]["orphans_found"] == args.orphans
|
||
and report["after_dry_runs"] == report["after_orphans_injected"]
|
||
and report["cleanup_apply_grace_0"]["deleted"] == args.orphans
|
||
and report["cleanup_apply_again"]["orphans_found"] == 0
|
||
and end == start
|
||
and report["kept_attachment_download"] == {"status": 200, "sha256_matches": True})
|
||
report["result"] = "PASS" if ok else "FAIL"
|
||
Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||
print(json.dumps(report, ensure_ascii=False, indent=2))
|
||
return 0 if ok else 1
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|