Files
mtusi2026lab4/scripts/orphan_experiment.py
vest1ter 44ae7b2472 ЛР4 на 5: вложения в MinIO, отказоустойчивость, трек 2 (сверка S3 и PostgreSQL)
Уровень 3:
- код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose,
  идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой
- метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер
- upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности,
  безопасный filename; 201 только после PUT и COMMIT; download потоком через API
- attachment_ids в сообщениях (только файлы своего чата, FK в БД)
- 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness

Уровень 4:
- 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД
- компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти
- эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты;
  исправлены удержание соединения БД во время загрузки и таймаут отправки в S3

Уровень 5, трек 2:
- reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period,
  перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose
- 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение,
  безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
2026-11-12 17:38:00 +03:00

150 lines
7.8 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Оборванная загрузка и объекты-сироты: что остаётся в хранилищах и как это убирается.
1. Клиент обрывает соединение посреди тела запроса -> ни объекта в S3, ни строки в БД.
2. «PUT прошёл, COMMIT и компенсация — нет»: такие объекты кладутся в bucket напрямую (credentials API),
без строк в attachments. Сам путь кода (откат БД -> попытка удаления -> сирота) проверяют pytest-тесты
test_commit_failure_after_put_deletes_object и test_orphan_left_by_failed_compensation_*.
3. Сверка (тот же образ и команда, что у сервиса reconciler):
dry-run с grace 1 ч (сироты свежие — не трогаем) -> dry-run с grace 0 (видим, не удаляем)
-> apply с grace 0 (удаляем) -> повторный apply (ничего не находит). Используемые файлы целы.
Запуск из venv при поднятом стенде: python scripts/orphan_experiment.py
"""
import argparse
import base64
import hashlib
import io
import json
import os
import socket
import subprocess
import sys
import time
import urllib.error
import urllib.request
import uuid
from pathlib import Path
from urllib.parse import urlsplit
ROOT = Path(__file__).resolve().parents[1]
os.chdir(ROOT) # .env и secrets/ читаются относительно корня
sys.path.insert(0, str(ROOT / "app"))
from core import s3 # noqa: E402 (настройки из .env: MinIO на 127.0.0.1, рабочий bucket)
PNG = (ROOT / "tests" / "fixtures" / "sample.png").read_bytes()
def call(base, method, path, body=None, headers=None):
req = urllib.request.Request(base + path, data=body, method=method, headers=headers or {})
try:
with urllib.request.urlopen(req, timeout=30) as resp:
return resp.status, resp.read()
except urllib.error.HTTPError as exc:
return exc.code, exc.read()
def run(*args):
return subprocess.run(list(args), check=True, cwd=ROOT, capture_output=True, text=True).stdout
def snapshot():
rows = int(run("docker", "compose", "exec", "-T", "postgres", "psql", "-U", "messenger", "-d", "messenger",
"-tAc", "SELECT count(*) FROM attachments").strip())
return {"attachment_rows": rows, "objects": sum(1 for _ in s3.list_objects("originals/"))}
def cleaner(*flags):
out = run("docker", "compose", "run", "--rm", "--no-deps", "reconciler",
"python", "-m", "maintenance.reconcile", *flags)
report = json.loads(out.strip().splitlines()[-1])
return {"mode": report["mode"], "grace_seconds": report["grace_seconds"],
"objects_scanned": report["objects_scanned"], "ok": report["ok"],
"orphans_fresh_kept": report["issues"]["orphan_object_fresh"],
"orphans_found": report["issues"]["orphan_object"],
"deleted": report["actions"]["objects_deleted"], "seconds": report["seconds"]["total"]}
def interrupted_upload(base, token, chat_id, declared, sent):
"""Заявить Content-Length=declared, отправить sent байт и закрыть соединение."""
url = urlsplit(base)
head = (f"POST /api/v1/chats/{chat_id}/attachments?filename=cut.png HTTP/1.1\r\n"
f"Host: {url.netloc}\r\nAuthorization: Bearer {token}\r\nContent-Type: image/png\r\n"
f"Content-Length: {declared}\r\n\r\n").encode()
with socket.create_connection((url.hostname, url.port or 80), timeout=10) as sock:
sock.sendall(head + (PNG * (sent // len(PNG) + 1))[:sent])
time.sleep(0.5)
# with закрыл сокет посреди тела.
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--base-url", default="http://localhost:8080")
parser.add_argument("--orphans", type=int, default=3)
parser.add_argument("--output", default=str(ROOT / "evidence" / "orphan-cleanup.json"))
args = parser.parse_args()
base = args.base_url.rstrip("/")
username, password = f"orph_{uuid.uuid4().hex[:8]}", "orphan-experiment-pass"
user = json.loads(call(base, "POST", "/api/v1/users", json.dumps(
{"username": username, "display_name": "orph", "password": password}).encode(),
{"Content-Type": "application/json"})[1])
basic = base64.b64encode(f"{username}:{password}".encode()).decode()
token = json.loads(call(base, "POST", "/api/v1/auth/sessions", headers={"Authorization": "Basic " + basic})[1])["token"]
auth = {"Authorization": "Bearer " + token}
chat_id = json.loads(call(base, "POST", "/api/v1/chats", json.dumps(
{"title": "orphans", "member_ids": [user["id"]]}).encode(), {"Content-Type": "application/json", **auth})[1])["id"]
# Используемый файл: загружен и прикреплён к сообщению — очистка не должна его тронуть.
status, data = call(base, "POST", f"/api/v1/chats/{chat_id}/attachments?filename=keep.png", PNG,
{"Content-Type": "image/png", **auth})
kept = json.loads(data)["id"]
call(base, "POST", f"/api/v1/chats/{chat_id}/messages", json.dumps({"text": "", "attachment_ids": [kept]}).encode(),
{"Content-Type": "application/json", "Idempotency-Key": uuid.uuid4().hex, **auth})
report = {"start": snapshot()}
# 1. Оборванная загрузка.
interrupted_upload(base, token, chat_id, declared=9 * 1024 * 1024, sent=2 * 1024 * 1024)
time.sleep(2)
report["after_interrupted_upload"] = snapshot()
logs = run("docker", "compose", "logs", "api", "--since", "1m")
report["api_logged_interrupt"] = "Загрузка прервана клиентом" in logs
# 2. Сироты: объект в S3 без строки в БД.
for _ in range(args.orphans):
s3.put_object(f"originals/{uuid.uuid4()}", PNG, "image/png", hashlib.sha256(PNG).hexdigest())
report["after_orphans_injected"] = snapshot()
# 3. Очистка.
report["cleanup_dry_run_grace_default"] = cleaner()
report["cleanup_dry_run_grace_0"] = cleaner("--grace-seconds", "0")
report["after_dry_runs"] = snapshot()
report["cleanup_apply_grace_0"] = cleaner("--apply", "--grace-seconds", "0")
report["cleanup_apply_again"] = cleaner("--apply", "--grace-seconds", "0")
report["end"] = snapshot()
status, data = call(base, "GET", f"/api/v1/attachments/{kept}/content", headers=auth)
report["kept_attachment_download"] = {"status": status, "sha256_matches": hashlib.sha256(data).digest()
== hashlib.sha256(PNG).digest()}
start, end = report["start"], report["end"]
ok = (report["after_interrupted_upload"] == start
and report["after_orphans_injected"]["objects"] == start["objects"] + args.orphans
and report["cleanup_dry_run_grace_default"]["orphans_fresh_kept"] == args.orphans
and report["cleanup_dry_run_grace_default"]["deleted"] == 0
and report["cleanup_dry_run_grace_0"]["orphans_found"] == args.orphans
and report["after_dry_runs"] == report["after_orphans_injected"]
and report["cleanup_apply_grace_0"]["deleted"] == args.orphans
and report["cleanup_apply_again"]["orphans_found"] == 0
and end == start
and report["kept_attachment_download"] == {"status": 200, "sha256_matches": True})
report["result"] = "PASS" if ok else "FAIL"
Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(json.dumps(report, ensure_ascii=False, indent=2))
return 0 if ok else 1
if __name__ == "__main__":
sys.exit(main())