forked from mtusi2026/mtusi2026lab5
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
73 lines
3.8 KiB
Python
73 lines
3.8 KiB
Python
#!/usr/bin/env python3
|
|
"""Upload -> остановка ИМЕННО обслужившей upload реплики -> download через другую.
|
|
|
|
python3 student-tests/attachment_failover.py [--output evidence/attachment-failover.json]
|
|
|
|
Для каждой API-реплики по очереди: загрузить файл так, чтобы его обслужила эта реплика
|
|
(round-robin LB, повторяем до попадания), остановить её scripts/stop-one.sh
|
|
(SIGTERM, контейнер остаётся остановленным), затем 5 раз скачать оригинал через LB и
|
|
проверить SHA-256 и что отвечает уже другая реплика. Восстановление — scripts/start-all.sh.
|
|
Доказывает, что на API нет обязательного локального файла оригинала.
|
|
"""
|
|
import argparse
|
|
import hashlib
|
|
import json
|
|
import os
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
from pathlib import Path
|
|
|
|
ROOT = Path(__file__).resolve().parents[1]
|
|
sys.path.insert(0, str(ROOT / "tests"))
|
|
from client import Client, check # noqa: E402
|
|
|
|
CONTENT = (ROOT / "tests/fixtures/sample.png").read_bytes()
|
|
|
|
|
|
def main():
|
|
ap = argparse.ArgumentParser()
|
|
ap.add_argument("--base-url", default="http://localhost:8080")
|
|
ap.add_argument("--output")
|
|
args = ap.parse_args()
|
|
c = Client(args.base_url, timeout=30)
|
|
alice, bob, _eve, chat = c.bootstrap()
|
|
instances = set()
|
|
for _ in range(10):
|
|
instances.add(c.call("GET", "/health/ready")["headers"]["X-Instance-Id"])
|
|
check(len(instances) >= 2, "need >=2 replicas")
|
|
rounds = []
|
|
for target in sorted(instances):
|
|
for _ in range(20): # round-robin: попадаем в нужную реплику за пару попыток
|
|
r = c.call("POST", "/api/v1/chats/%s/attachments?filename=failover.png" % chat["id"], 202, actor=alice,
|
|
raw=CONTENT, headers={"Content-Type": "image/png"}, schema="Attachment")
|
|
if r["headers"]["X-Instance-Id"] == target:
|
|
break
|
|
else:
|
|
raise SystemExit("could not hit replica " + target)
|
|
att = c.wait_ready(alice, r["json"]) # lab5: 202 queued -> ждём ready, затем отказ реплики
|
|
stop = subprocess.run([str(ROOT / "scripts/stop-one.sh")], env=dict(os.environ, TARGET_INSTANCE_ID=target),
|
|
capture_output=True, text=True, timeout=60)
|
|
check(stop.returncode == 0, "stop-one failed")
|
|
downloads = []
|
|
for _ in range(5):
|
|
d = c.call("GET", "/api/v1/attachments/%s/content" % att["id"], actor=bob)
|
|
downloads.append({"instance": d["headers"]["X-Instance-Id"],
|
|
"sha256_ok": hashlib.sha256(d["bytes"]).hexdigest() == att["sha256"] == hashlib.sha256(CONTENT).hexdigest(),
|
|
"ms": round(d["elapsed"] * 1000, 1)})
|
|
meta = c.call("GET", "/api/v1/attachments/" + att["id"], actor=bob, schema="Attachment")["json"]
|
|
ok = all(x["sha256_ok"] and x["instance"] != target for x in downloads) and meta["status"] == "ready"
|
|
rounds.append({"uploaded_by": target, "stopped": target, "downloads": downloads, "pass": ok})
|
|
print(json.dumps(rounds[-1]), flush=True)
|
|
subprocess.run([str(ROOT / "scripts/start-all.sh")], capture_output=True, timeout=120, check=True)
|
|
time.sleep(4) # HAProxy: rise 2 * inter 1s
|
|
summary = {"replicas": sorted(instances), "rounds": rounds, "pass": all(r["pass"] for r in rounds)}
|
|
print(json.dumps({"pass": summary["pass"], "rounds": len(rounds)}))
|
|
if args.output:
|
|
Path(args.output).write_text(json.dumps(summary, indent=1))
|
|
return 0 if summary["pass"] else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|