From ca9570f49524a95d2af846a0e6ae3edb201ae71a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=92=D0=B0=D1=81=D0=B8=D0=BB=D1=8C=D0=B5=D0=B2=20=D0=9D?= =?UTF-8?q?=D0=B8=D0=BA=D0=B8=D1=82=D0=B0?= Date: Fri, 6 Nov 2026 17:59:42 +0300 Subject: [PATCH] test: cover reconciliation failure windows and bounded upload memory --- REVIEW_NOTES.md | 23 ++++++ compose.yaml | 2 +- research/README.md | 53 +++++++++++++ research/run.py | 38 +++++++++ research/upload_memory.py | 161 ++++++++++++++++++++++++++++++++++++++ 5 files changed, 276 insertions(+), 1 deletion(-) create mode 100644 REVIEW_NOTES.md create mode 100644 research/README.md create mode 100644 research/upload_memory.py diff --git a/REVIEW_NOTES.md b/REVIEW_NOTES.md new file mode 100644 index 00000000..3ee48280 --- /dev/null +++ b/REVIEW_NOTES.md @@ -0,0 +1,23 @@ +# Учтённые замечания преподавателей + +Чужие PR использованы для изучения требований и типовых ошибок до реализации, не как источник кода или результатов. Отсутствие комментария не трактуется как доказательство правильности решения. Исходные комментарии доступны по ссылкам ниже; обзор собран 2026-11-06. + +| Источник | Риск | Наше решение / проверка | +|---|---|---| +| [PR1](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/1#issuecomment-238) | Dry-run продолжает частичное удаление; missing/null в JSON принимаются | Каждая мутация только внутри apply; real DB DELETE fault → dry-run → repeat. Strict модели отличают обязательный text и массив attachment_ids | +| [PR4](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/4#issuecomment-506), [PR7](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/7#issuecomment-571) | Повреждённые изображения, неверные byte/pixel лимиты, root credentials, S3 500/timeouts | Полное verify+decode, проверка размеров до decode, 10 MiB включительно через LB, bounded S3 calls, отдельные app/admin keys | +| [PR8](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/8#issuecomment-572) | PNG palette 257 и недопустимый filter | Проверяет Pillow 12.3; отдельные воспроизведения | +| [PR12](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/12#issuecomment-630) | Удаление S3 при неопределённом COMMIT | Никакого немедленного delete в catch; durable upload_intent, сверка после grace | +| [PR13](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/13#issuecomment-735) | Пробельный filename, тест ACL без Idempotency-Key | Filename проверяется до I/O; тесты авторизации предъявляют действительный ключ | +| [PR24](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/24#issuecomment-990), [PR25](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/25#issuecomment-1007), [PR49](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/49#issuecomment-1507) | JPEG без scan/половина JPEG с поддельным EOI; OOM LB | Pillow дополняется строгим djpeg с timeout; 10 конкурентных upload через HAProxy, memory.events/peak API и LB | +| [PR27](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/27#issuecomment-1442), [PR15](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/15#issuecomment-1444) | Анонимный filer GET обходит приватный S3 | Storage backend в отдельной internal network; API видит только S3 gateway | +| [PR22](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/22#issuecomment-1446) | Filename C0/C1/DEL, неверные 400/404/415, потеря порядка вложений | Unicode category Cc; контрактные коды; position в связях и сохранённый JSON ответа | +| [PR21](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/21#issuecomment-1448) | Pending никогда не очищается | Старые intent удаляются с их остаточными объектами после grace; активная row lock защищает живой PUT | +| [PR47](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/47#issuecomment-1508) | Pixel bomb неверный код; отсутствующий filename 422 | Dimension check до декодирования, DecompressionBombError→413; собственная query validation→400 | +| [PR56](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/56#issuecomment-1550) | JSON null и повреждённые PNG/JPEG | Strict model + generated corrupt fixtures | +| [PR60](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/60#issuecomment-1551) | Проверка только заголовка крупных файлов, NUL text, paused PostgreSQL | Полный decode во всём допустимом диапазоне; bytea для lossless UTF-8; client-side deadline connection | +| [PR59](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/59#issuecomment-1552), [PR64](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/64#issuecomment-1576), [PR63](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/63#issuecomment-1625) | Серверный SQL timeout не срабатывает при pause БД | Клиентский I/O deadline закрывает неопределённое соединение; реальные pause/resume проверки | +| [PR28](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/28#issuecomment-1555) | Username с завершающим LF | Полный re.fullmatch до INSERT | +| [PR58](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/58#issuecomment-1573) | Игнорирование variant/status и воскресающая сессия из кэша | Проверки ready/variant перед GET; каждая сессия проверяется в PostgreSQL | + +Дополнительно при сверке учитываются возраст объекта независимо от возраста intent, повторный HEAD перед мутацией вместо старого снимка LIST, сохранение используемых и свежих вложений и запрет сортировать attachment_ids при сравнении идемпотентного запроса. Детальные результаты находятся в REPORT.md и evidence. diff --git a/compose.yaml b/compose.yaml index d4baf01c..cd46a693 100644 --- a/compose.yaml +++ b/compose.yaml @@ -67,7 +67,7 @@ services: s3-bootstrap: {condition: service_completed_successfully} storage: image: chrislusf/seaweedfs:4.15@sha256:1593bd2a98964f5d4df83fa7db2b3d4ee7b20190813cc5bf8c3200e0e70d346e - command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=4, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64] + command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=32, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64] volumes: ["s3_data:/data", "./infra/filer.toml:/etc/seaweedfs/filer.toml:ro"] networks: [storage_backend] cpus: 1 diff --git a/research/README.md b/research/README.md new file mode 100644 index 00000000..05c9a4fa --- /dev/null +++ b/research/README.md @@ -0,0 +1,53 @@ +# Трек 2: согласованность PostgreSQL и S3 + +## Гипотеза + +Durable intent до S3 PUT, row lock на время PUT/финализации и консервативный reconciler с grace + актуальным HEAD позволяют обнаружить и безопасно убрать остатки незавершённых upload, сохранив подтверждённые и свежие данные. Один COMMIT не делает распределённую транзакцию с S3, поэтому результат проверяется fault-injection. + +## Протокол upload + +1. Поток HTTP складывается в ограниченный spool: 256 KiB в RAM, затем временный файл на ограниченном tmpfs; максимум 10 MiB. +2. После полного приёма выполняется полная проверка PNG/JPEG. Пиксельный предел применяется до decode. Для JPEG строгий djpeg отвергает предупреждения о повреждении, которые Pillow иногда допускает. +3. Создаётся и фиксируется upload_intent с уникальным server key. +4. Новая транзакция блокирует intent, выполняет S3 PUT и создаёт ready attachment, удаляет intent, COMMIT. +5. Только после успешной фиксации возвращается 201. При неопределённом исходе COMMIT объект немедленно не удаляется. + +## Reconciler + +По умолчанию dry-run. `--apply` явно разрешает изменения; default grace 3600 секунд. Обход SQL keyset, S3 paginator, page-size 1..1000. Метрики выводятся без credentials и пользовательских текстов. + +- Старые intent: `FOR UPDATE SKIP LOCKED` пропускает живой upload. Недавний LastModified объекта защищает его даже при старом intent. При отсутствии ready metadata apply удаляет остаточный объект, затем intent. +- Старые S3 objects в server prefix original/: повторно проверяются PostgreSQL и HEAD. Свежие, учтённые и live intent объекты не удаляются. Чужие prefix вне политики удаления. +- Ready metadata без оригинала: актуальный HEAD под row lock; после grace apply меняет status на failed/storage_missing. Метаданные и связи сообщений сохраняются. Reconciler не может восстановить потерянные bytes без backup. +- Полноценные ready вложения, даже пока не прикреплённые к сообщению, не удаляются. +- Audit пишется только в apply. После частично завершённого удаления повторный dry-run не продолжает очистку. + +## Воспроизведение + +Из корня репозитория после `make up`: + +```sh +# Исследование получает admin keys только в отдельном profile tools. +# Создаёт отдельные БД и bucket, очищает только их в finally. +docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2>&1 +``` + +В строке `RESULT ` находится JSON с исходными счётчиками, проверками, хешами кода и результатами времени. Основная messenger БД и bucket не очищаются. + +Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала. + +Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA. + +## Память десяти конкурентных upload + +```sh +uv run --locked python research/upload_memory.py --restart-api --output evidence/upload-memory-repeat.json +``` + +Генератор использует настоящие PNG 512×512 и 1700×1700. На каждой точке десять клиентов стартуют через barrier и идут через LB. По одному upload slot на API-реплику, занятые места возвращают контролируемый 429 с Retry-After. Сохраняются status/latency и cgroup current/peak/memory.events, VmHWM API и LB. Проверяются readiness и отсутствие OOM. + +Kernel peaks накопительные с момента старта; before/after показаны честно, без приписывания всей памяти image buffer. Регистрация и импорт Argon2 тоже влияют на high-water. Это проверка ограниченной памяти/backpressure, а не доказательство роста максимальной пропускной способности. + +## Ограничения + +Нет атомарной транзакции через обе системы. Консервативная очистка допускает временные остатки до grace и явного apply. Сбой самого S3/БД не интерпретируется как отсутствие объекта. Ручной администратор с правом перезаписи может изменить объект после HEAD; инструмент рассчитан на уникальные immutable server keys штатного API. Один host/LB/PostgreSQL/Seaweed backend остаются SPOF. Нет репликации и внешнего backup в этом эксперименте. diff --git a/research/run.py b/research/run.py index 6c272ec3..b8081ae4 100644 --- a/research/run.py +++ b/research/run.py @@ -247,6 +247,44 @@ def main(): ) record("failed_cleanup_recovers", recovery_apply["errors"] == 0) + # Failure after deleting bytes but before deleting the durable intent. + delete_id, delete_key = str(uuid4()), "original/delete-ack-fault-" + suffix + with store.connection() as conn: + conn.execute( + "INSERT INTO upload_intents VALUES (%s,%s,now()-interval '1 day')", + (delete_id, delete_key), + ) + storage.put(delete_key, BytesIO(data), len(data), "image/png") + time.sleep(2.2) + with store.connection() as conn: + conn.execute( + "CREATE FUNCTION reject_intent_delete() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN RAISE EXCEPTION 'injected intent DELETE failure'; END $$" + ) + conn.execute( + "CREATE TRIGGER research_reject_delete BEFORE DELETE ON upload_intents FOR EACH ROW EXECUTE FUNCTION reject_intent_delete()" + ) + try: + reconcile(store, storage, apply=True, grace_seconds=2) + raise AssertionError("DELETE fault did not fire") + except psycopg.errors.RaiseException: + record("real_db_delete_failure_after_s3_delete", not storage.exists(delete_key)) + finally: + with store.connection() as conn: + conn.execute("DROP TRIGGER research_reject_delete ON upload_intents") + conn.execute("DROP FUNCTION reject_intent_delete()") + with store.connection() as conn: + before_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"] + dry_after_delete = reconcile(store, storage, grace_seconds=2) + with store.connection() as conn: + after_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"] + record( + "dry_run_does_not_resume_partial_delete", + before_count == after_count and dry_after_delete["deleted_intents"] == 0, + ) + resumed = reconcile(store, storage, apply=True, grace_seconds=2) + record("partial_delete_resumes_only_on_apply", resumed["deleted_intents"] == 1) + result["partial_delete_dry"], result["partial_delete_apply"] = dry_after_delete, resumed + # Measure an increasing population of intact, aged metadata/objects. Rows # share no client names or object paths, and all are in this disposable DB. current = 0 diff --git a/research/upload_memory.py b/research/upload_memory.py new file mode 100644 index 00000000..a1824eff --- /dev/null +++ b/research/upload_memory.py @@ -0,0 +1,161 @@ +"""Ten simultaneous HTTP uploads through LB, with kernel memory high-water readings.""" + +import argparse +import json +import random +import subprocess +import sys +import threading +import time +from concurrent.futures import ThreadPoolExecutor +from io import BytesIO +from pathlib import Path + +import httpx +from PIL import Image + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument("--output", default="evidence/upload-memory.json") + parser.add_argument("--base-url", default="http://127.0.0.1:8084") + parser.add_argument("--restart-api", action="store_true") + args = parser.parse_args() + c = Client(args.base_url) + alice, _, _, chat = c.bootstrap() + if args.restart_api: + subprocess.run( + ["docker", "compose", "restart", "api"], check=True, stdout=subprocess.DEVNULL + ) + for _ in range(40): + try: + c.call("GET", "/api/v1/users/me", actor=alice, schema="User") + break + except AssertionError: + time.sleep(0.5) + else: + raise AssertionError("API did not recover with old token") + ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split() + + api_count = len(ids) + ids += subprocess.check_output(["docker", "compose", "ps", "-q", "lb"], text=True).split() + + def memory(): + result = {} + for container in ids: + lines = subprocess.check_output( + [ + "docker", + "exec", + container, + "cat", + "/sys/fs/cgroup/memory.current", + "/sys/fs/cgroup/memory.peak", + "/sys/fs/cgroup/memory.events", + "/proc/1/status", + ], + text=True, + ).splitlines() + result[container] = { + "current": int(lines[0]), + "peak": int(lines[1]), + "events": { + line.split()[0]: int(line.split()[1]) + for line in lines[2:] + if line.split() + and line.split()[0] + in {"low", "high", "max", "oom", "oom_kill", "oom_group_kill"} + }, + "process_hwm": next(line for line in lines if line.startswith("VmHWM:")), + } + return result + + result = { + "concurrency": 10, + "api_replicas": api_count, + "sampled_api_and_lb_containers": ids, + "api_restarted_before_trial": args.restart_api, + "runs": [], + "limitations": [ + "Kernel cgroup peak and process VmHWM are lifetime peaks; before/after reported, not attributed solely to upload buffers", + "Fast rejection 429 is intentional backpressure, not a successful upload", + "Local two-replica stand; not a throughput benchmark", + ], + } + for side in (512, 1700): + output = BytesIO() + Image.frombytes("RGB", (side, side), random.Random(42).randbytes(side * side * 3)).save( + output, "PNG" + ) + data = output.getvalue() + barrier = threading.Barrier(10) + before = memory() + + def send(_, barrier=barrier, data=data): + barrier.wait() + started = time.perf_counter() + try: + with httpx.Client(timeout=20, trust_env=False) as client: + response = client.post( + args.base_url + + f"/api/v1/chats/{chat['id']}/attachments?filename=memory.png", + content=data, + headers={ + "Authorization": "Bearer " + alice["token"], + "Content-Type": "image/png", + }, + ) + record = { + "status": response.status_code, + "elapsed": time.perf_counter() - started, + } + if response.status_code == 201: + record["attachment_id"] = response.json()["id"] + return record + except httpx.HTTPError as exc: + return {"error": type(exc).__name__, "elapsed": time.perf_counter() - started} + + with ThreadPoolExecutor(max_workers=10) as pool: + responses = list(pool.map(send, range(10))) + after = memory() + c.call("GET", "/health/ready", schema="Health") + for record in responses: + if record.get("status") not in {201, 429}: + raise AssertionError(record) + for container in ids: + state = json.loads( + subprocess.check_output(["docker", "inspect", container], text=True) + )[0]["State"] + if state["OOMKilled"] or not state["Running"]: + raise AssertionError("API OOM or not running") + result["runs"].append( + { + "image_dimensions": [side, side], + "size_bytes": len(data), + "before": before, + "after": after, + "responses": responses, + "ready_after": True, + } + ) + Path(args.output).write_text(json.dumps(result, indent=2) + "\n") + print( + json.dumps( + { + "runs": [ + { + "size_bytes": r["size_bytes"], + "statuses": [x.get("status", x.get("error")) for x in r["responses"]], + } + for r in result["runs"] + ] + } + ) + ) + + +if __name__ == "__main__": + main()