Files
mtusi2026lab4/student-tests/attachment_failover.py
T
zemiles c5a07dc253 ЛР 4 — БПИ2303 — Лазарев — на 4
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).

- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
  временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
  и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
  сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
  attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
  идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
  178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
  и доказательства в evidence/, заполнен REPORT.md.
2026-11-07 01:44:58 +03:00

73 lines
3.7 KiB
Python

#!/usr/bin/env python3
"""Upload -> остановка ИМЕННО обслужившей upload реплики -> download через другую.
python3 student-tests/attachment_failover.py [--output evidence/attachment-failover.json]
Для каждой API-реплики по очереди: загрузить файл так, чтобы его обслужила эта реплика
(round-robin LB, повторяем до попадания), остановить её scripts/stop-one.sh
(SIGTERM, контейнер остаётся остановленным), затем 5 раз скачать оригинал через LB и
проверить SHA-256 и что отвечает уже другая реплика. Восстановление — scripts/start-all.sh.
Доказывает, что на API нет обязательного локального файла оригинала.
"""
import argparse
import hashlib
import json
import os
import subprocess
import sys
import time
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "tests"))
from client import Client, check # noqa: E402
CONTENT = (ROOT / "tests/fixtures/sample.png").read_bytes()
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--base-url", default="http://localhost:8080")
ap.add_argument("--output")
args = ap.parse_args()
c = Client(args.base_url, timeout=30)
alice, bob, _eve, chat = c.bootstrap()
instances = set()
for _ in range(10):
instances.add(c.call("GET", "/health/ready")["headers"]["X-Instance-Id"])
check(len(instances) >= 2, "need >=2 replicas")
rounds = []
for target in sorted(instances):
for _ in range(20): # round-robin: попадаем в нужную реплику за пару попыток
r = c.call("POST", "/api/v1/chats/%s/attachments?filename=failover.png" % chat["id"], 201, actor=alice,
raw=CONTENT, headers={"Content-Type": "image/png"}, schema="Attachment")
if r["headers"]["X-Instance-Id"] == target:
break
else:
raise SystemExit("could not hit replica " + target)
att = r["json"]
stop = subprocess.run([str(ROOT / "scripts/stop-one.sh")], env=dict(os.environ, TARGET_INSTANCE_ID=target),
capture_output=True, text=True, timeout=60)
check(stop.returncode == 0, "stop-one failed")
downloads = []
for _ in range(5):
d = c.call("GET", "/api/v1/attachments/%s/content" % att["id"], actor=bob)
downloads.append({"instance": d["headers"]["X-Instance-Id"],
"sha256_ok": hashlib.sha256(d["bytes"]).hexdigest() == att["sha256"] == hashlib.sha256(CONTENT).hexdigest(),
"ms": round(d["elapsed"] * 1000, 1)})
meta = c.call("GET", "/api/v1/attachments/" + att["id"], actor=bob, schema="Attachment")["json"]
ok = all(x["sha256_ok"] and x["instance"] != target for x in downloads) and meta["status"] == "ready"
rounds.append({"uploaded_by": target, "stopped": target, "downloads": downloads, "pass": ok})
print(json.dumps(rounds[-1]), flush=True)
subprocess.run([str(ROOT / "scripts/start-all.sh")], capture_output=True, timeout=120, check=True)
time.sleep(4) # HAProxy: rise 2 * inter 1s
summary = {"replicas": sorted(instances), "rounds": rounds, "pass": all(r["pass"] for r in rounds)}
print(json.dumps({"pass": summary["pass"], "rounds": len(rounds)}))
if args.output:
Path(args.output).write_text(json.dumps(summary, indent=1))
return 0 if summary["pass"] else 1
if __name__ == "__main__":
sys.exit(main())