test: cover reconciliation failure windows and bounded upload memory
This commit is contained in:
@@ -0,0 +1,23 @@
|
||||
# Учтённые замечания преподавателей
|
||||
|
||||
Чужие PR использованы для изучения требований и типовых ошибок до реализации, не как источник кода или результатов. Отсутствие комментария не трактуется как доказательство правильности решения. Исходные комментарии доступны по ссылкам ниже; обзор собран 2026-11-06.
|
||||
|
||||
| Источник | Риск | Наше решение / проверка |
|
||||
|---|---|---|
|
||||
| [PR1](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/1#issuecomment-238) | Dry-run продолжает частичное удаление; missing/null в JSON принимаются | Каждая мутация только внутри apply; real DB DELETE fault → dry-run → repeat. Strict модели отличают обязательный text и массив attachment_ids |
|
||||
| [PR4](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/4#issuecomment-506), [PR7](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/7#issuecomment-571) | Повреждённые изображения, неверные byte/pixel лимиты, root credentials, S3 500/timeouts | Полное verify+decode, проверка размеров до decode, 10 MiB включительно через LB, bounded S3 calls, отдельные app/admin keys |
|
||||
| [PR8](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/8#issuecomment-572) | PNG palette 257 и недопустимый filter | Проверяет Pillow 12.3; отдельные воспроизведения |
|
||||
| [PR12](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/12#issuecomment-630) | Удаление S3 при неопределённом COMMIT | Никакого немедленного delete в catch; durable upload_intent, сверка после grace |
|
||||
| [PR13](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/13#issuecomment-735) | Пробельный filename, тест ACL без Idempotency-Key | Filename проверяется до I/O; тесты авторизации предъявляют действительный ключ |
|
||||
| [PR24](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/24#issuecomment-990), [PR25](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/25#issuecomment-1007), [PR49](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/49#issuecomment-1507) | JPEG без scan/половина JPEG с поддельным EOI; OOM LB | Pillow дополняется строгим djpeg с timeout; 10 конкурентных upload через HAProxy, memory.events/peak API и LB |
|
||||
| [PR27](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/27#issuecomment-1442), [PR15](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/15#issuecomment-1444) | Анонимный filer GET обходит приватный S3 | Storage backend в отдельной internal network; API видит только S3 gateway |
|
||||
| [PR22](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/22#issuecomment-1446) | Filename C0/C1/DEL, неверные 400/404/415, потеря порядка вложений | Unicode category Cc; контрактные коды; position в связях и сохранённый JSON ответа |
|
||||
| [PR21](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/21#issuecomment-1448) | Pending никогда не очищается | Старые intent удаляются с их остаточными объектами после grace; активная row lock защищает живой PUT |
|
||||
| [PR47](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/47#issuecomment-1508) | Pixel bomb неверный код; отсутствующий filename 422 | Dimension check до декодирования, DecompressionBombError→413; собственная query validation→400 |
|
||||
| [PR56](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/56#issuecomment-1550) | JSON null и повреждённые PNG/JPEG | Strict model + generated corrupt fixtures |
|
||||
| [PR60](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/60#issuecomment-1551) | Проверка только заголовка крупных файлов, NUL text, paused PostgreSQL | Полный decode во всём допустимом диапазоне; bytea для lossless UTF-8; client-side deadline connection |
|
||||
| [PR59](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/59#issuecomment-1552), [PR64](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/64#issuecomment-1576), [PR63](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/63#issuecomment-1625) | Серверный SQL timeout не срабатывает при pause БД | Клиентский I/O deadline закрывает неопределённое соединение; реальные pause/resume проверки |
|
||||
| [PR28](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/28#issuecomment-1555) | Username с завершающим LF | Полный re.fullmatch до INSERT |
|
||||
| [PR58](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/58#issuecomment-1573) | Игнорирование variant/status и воскресающая сессия из кэша | Проверки ready/variant перед GET; каждая сессия проверяется в PostgreSQL |
|
||||
|
||||
Дополнительно при сверке учитываются возраст объекта независимо от возраста intent, повторный HEAD перед мутацией вместо старого снимка LIST, сохранение используемых и свежих вложений и запрет сортировать attachment_ids при сравнении идемпотентного запроса. Детальные результаты находятся в REPORT.md и evidence.
|
||||
+1
-1
@@ -67,7 +67,7 @@ services:
|
||||
s3-bootstrap: {condition: service_completed_successfully}
|
||||
storage:
|
||||
image: chrislusf/seaweedfs:4.15@sha256:1593bd2a98964f5d4df83fa7db2b3d4ee7b20190813cc5bf8c3200e0e70d346e
|
||||
command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=4, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64]
|
||||
command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=32, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64]
|
||||
volumes: ["s3_data:/data", "./infra/filer.toml:/etc/seaweedfs/filer.toml:ro"]
|
||||
networks: [storage_backend]
|
||||
cpus: 1
|
||||
|
||||
@@ -0,0 +1,53 @@
|
||||
# Трек 2: согласованность PostgreSQL и S3
|
||||
|
||||
## Гипотеза
|
||||
|
||||
Durable intent до S3 PUT, row lock на время PUT/финализации и консервативный reconciler с grace + актуальным HEAD позволяют обнаружить и безопасно убрать остатки незавершённых upload, сохранив подтверждённые и свежие данные. Один COMMIT не делает распределённую транзакцию с S3, поэтому результат проверяется fault-injection.
|
||||
|
||||
## Протокол upload
|
||||
|
||||
1. Поток HTTP складывается в ограниченный spool: 256 KiB в RAM, затем временный файл на ограниченном tmpfs; максимум 10 MiB.
|
||||
2. После полного приёма выполняется полная проверка PNG/JPEG. Пиксельный предел применяется до decode. Для JPEG строгий djpeg отвергает предупреждения о повреждении, которые Pillow иногда допускает.
|
||||
3. Создаётся и фиксируется upload_intent с уникальным server key.
|
||||
4. Новая транзакция блокирует intent, выполняет S3 PUT и создаёт ready attachment, удаляет intent, COMMIT.
|
||||
5. Только после успешной фиксации возвращается 201. При неопределённом исходе COMMIT объект немедленно не удаляется.
|
||||
|
||||
## Reconciler
|
||||
|
||||
По умолчанию dry-run. `--apply` явно разрешает изменения; default grace 3600 секунд. Обход SQL keyset, S3 paginator, page-size 1..1000. Метрики выводятся без credentials и пользовательских текстов.
|
||||
|
||||
- Старые intent: `FOR UPDATE SKIP LOCKED` пропускает живой upload. Недавний LastModified объекта защищает его даже при старом intent. При отсутствии ready metadata apply удаляет остаточный объект, затем intent.
|
||||
- Старые S3 objects в server prefix original/: повторно проверяются PostgreSQL и HEAD. Свежие, учтённые и live intent объекты не удаляются. Чужие prefix вне политики удаления.
|
||||
- Ready metadata без оригинала: актуальный HEAD под row lock; после grace apply меняет status на failed/storage_missing. Метаданные и связи сообщений сохраняются. Reconciler не может восстановить потерянные bytes без backup.
|
||||
- Полноценные ready вложения, даже пока не прикреплённые к сообщению, не удаляются.
|
||||
- Audit пишется только в apply. После частично завершённого удаления повторный dry-run не продолжает очистку.
|
||||
|
||||
## Воспроизведение
|
||||
|
||||
Из корня репозитория после `make up`:
|
||||
|
||||
```sh
|
||||
# Исследование получает admin keys только в отдельном profile tools.
|
||||
# Создаёт отдельные БД и bucket, очищает только их в finally.
|
||||
docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2>&1
|
||||
```
|
||||
|
||||
В строке `RESULT ` находится JSON с исходными счётчиками, проверками, хешами кода и результатами времени. Основная messenger БД и bucket не очищаются.
|
||||
|
||||
Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала.
|
||||
|
||||
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
|
||||
|
||||
## Память десяти конкурентных upload
|
||||
|
||||
```sh
|
||||
uv run --locked python research/upload_memory.py --restart-api --output evidence/upload-memory-repeat.json
|
||||
```
|
||||
|
||||
Генератор использует настоящие PNG 512×512 и 1700×1700. На каждой точке десять клиентов стартуют через barrier и идут через LB. По одному upload slot на API-реплику, занятые места возвращают контролируемый 429 с Retry-After. Сохраняются status/latency и cgroup current/peak/memory.events, VmHWM API и LB. Проверяются readiness и отсутствие OOM.
|
||||
|
||||
Kernel peaks накопительные с момента старта; before/after показаны честно, без приписывания всей памяти image buffer. Регистрация и импорт Argon2 тоже влияют на high-water. Это проверка ограниченной памяти/backpressure, а не доказательство роста максимальной пропускной способности.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Нет атомарной транзакции через обе системы. Консервативная очистка допускает временные остатки до grace и явного apply. Сбой самого S3/БД не интерпретируется как отсутствие объекта. Ручной администратор с правом перезаписи может изменить объект после HEAD; инструмент рассчитан на уникальные immutable server keys штатного API. Один host/LB/PostgreSQL/Seaweed backend остаются SPOF. Нет репликации и внешнего backup в этом эксперименте.
|
||||
@@ -247,6 +247,44 @@ def main():
|
||||
)
|
||||
record("failed_cleanup_recovers", recovery_apply["errors"] == 0)
|
||||
|
||||
# Failure after deleting bytes but before deleting the durable intent.
|
||||
delete_id, delete_key = str(uuid4()), "original/delete-ack-fault-" + suffix
|
||||
with store.connection() as conn:
|
||||
conn.execute(
|
||||
"INSERT INTO upload_intents VALUES (%s,%s,now()-interval '1 day')",
|
||||
(delete_id, delete_key),
|
||||
)
|
||||
storage.put(delete_key, BytesIO(data), len(data), "image/png")
|
||||
time.sleep(2.2)
|
||||
with store.connection() as conn:
|
||||
conn.execute(
|
||||
"CREATE FUNCTION reject_intent_delete() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN RAISE EXCEPTION 'injected intent DELETE failure'; END $$"
|
||||
)
|
||||
conn.execute(
|
||||
"CREATE TRIGGER research_reject_delete BEFORE DELETE ON upload_intents FOR EACH ROW EXECUTE FUNCTION reject_intent_delete()"
|
||||
)
|
||||
try:
|
||||
reconcile(store, storage, apply=True, grace_seconds=2)
|
||||
raise AssertionError("DELETE fault did not fire")
|
||||
except psycopg.errors.RaiseException:
|
||||
record("real_db_delete_failure_after_s3_delete", not storage.exists(delete_key))
|
||||
finally:
|
||||
with store.connection() as conn:
|
||||
conn.execute("DROP TRIGGER research_reject_delete ON upload_intents")
|
||||
conn.execute("DROP FUNCTION reject_intent_delete()")
|
||||
with store.connection() as conn:
|
||||
before_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"]
|
||||
dry_after_delete = reconcile(store, storage, grace_seconds=2)
|
||||
with store.connection() as conn:
|
||||
after_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"]
|
||||
record(
|
||||
"dry_run_does_not_resume_partial_delete",
|
||||
before_count == after_count and dry_after_delete["deleted_intents"] == 0,
|
||||
)
|
||||
resumed = reconcile(store, storage, apply=True, grace_seconds=2)
|
||||
record("partial_delete_resumes_only_on_apply", resumed["deleted_intents"] == 1)
|
||||
result["partial_delete_dry"], result["partial_delete_apply"] = dry_after_delete, resumed
|
||||
|
||||
# Measure an increasing population of intact, aged metadata/objects. Rows
|
||||
# share no client names or object paths, and all are in this disposable DB.
|
||||
current = 0
|
||||
|
||||
@@ -0,0 +1,161 @@
|
||||
"""Ten simultaneous HTTP uploads through LB, with kernel memory high-water readings."""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import random
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
import httpx
|
||||
from PIL import Image
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests"))
|
||||
from client import Client
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("--output", default="evidence/upload-memory.json")
|
||||
parser.add_argument("--base-url", default="http://127.0.0.1:8084")
|
||||
parser.add_argument("--restart-api", action="store_true")
|
||||
args = parser.parse_args()
|
||||
c = Client(args.base_url)
|
||||
alice, _, _, chat = c.bootstrap()
|
||||
if args.restart_api:
|
||||
subprocess.run(
|
||||
["docker", "compose", "restart", "api"], check=True, stdout=subprocess.DEVNULL
|
||||
)
|
||||
for _ in range(40):
|
||||
try:
|
||||
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
|
||||
break
|
||||
except AssertionError:
|
||||
time.sleep(0.5)
|
||||
else:
|
||||
raise AssertionError("API did not recover with old token")
|
||||
ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split()
|
||||
|
||||
api_count = len(ids)
|
||||
ids += subprocess.check_output(["docker", "compose", "ps", "-q", "lb"], text=True).split()
|
||||
|
||||
def memory():
|
||||
result = {}
|
||||
for container in ids:
|
||||
lines = subprocess.check_output(
|
||||
[
|
||||
"docker",
|
||||
"exec",
|
||||
container,
|
||||
"cat",
|
||||
"/sys/fs/cgroup/memory.current",
|
||||
"/sys/fs/cgroup/memory.peak",
|
||||
"/sys/fs/cgroup/memory.events",
|
||||
"/proc/1/status",
|
||||
],
|
||||
text=True,
|
||||
).splitlines()
|
||||
result[container] = {
|
||||
"current": int(lines[0]),
|
||||
"peak": int(lines[1]),
|
||||
"events": {
|
||||
line.split()[0]: int(line.split()[1])
|
||||
for line in lines[2:]
|
||||
if line.split()
|
||||
and line.split()[0]
|
||||
in {"low", "high", "max", "oom", "oom_kill", "oom_group_kill"}
|
||||
},
|
||||
"process_hwm": next(line for line in lines if line.startswith("VmHWM:")),
|
||||
}
|
||||
return result
|
||||
|
||||
result = {
|
||||
"concurrency": 10,
|
||||
"api_replicas": api_count,
|
||||
"sampled_api_and_lb_containers": ids,
|
||||
"api_restarted_before_trial": args.restart_api,
|
||||
"runs": [],
|
||||
"limitations": [
|
||||
"Kernel cgroup peak and process VmHWM are lifetime peaks; before/after reported, not attributed solely to upload buffers",
|
||||
"Fast rejection 429 is intentional backpressure, not a successful upload",
|
||||
"Local two-replica stand; not a throughput benchmark",
|
||||
],
|
||||
}
|
||||
for side in (512, 1700):
|
||||
output = BytesIO()
|
||||
Image.frombytes("RGB", (side, side), random.Random(42).randbytes(side * side * 3)).save(
|
||||
output, "PNG"
|
||||
)
|
||||
data = output.getvalue()
|
||||
barrier = threading.Barrier(10)
|
||||
before = memory()
|
||||
|
||||
def send(_, barrier=barrier, data=data):
|
||||
barrier.wait()
|
||||
started = time.perf_counter()
|
||||
try:
|
||||
with httpx.Client(timeout=20, trust_env=False) as client:
|
||||
response = client.post(
|
||||
args.base_url
|
||||
+ f"/api/v1/chats/{chat['id']}/attachments?filename=memory.png",
|
||||
content=data,
|
||||
headers={
|
||||
"Authorization": "Bearer " + alice["token"],
|
||||
"Content-Type": "image/png",
|
||||
},
|
||||
)
|
||||
record = {
|
||||
"status": response.status_code,
|
||||
"elapsed": time.perf_counter() - started,
|
||||
}
|
||||
if response.status_code == 201:
|
||||
record["attachment_id"] = response.json()["id"]
|
||||
return record
|
||||
except httpx.HTTPError as exc:
|
||||
return {"error": type(exc).__name__, "elapsed": time.perf_counter() - started}
|
||||
|
||||
with ThreadPoolExecutor(max_workers=10) as pool:
|
||||
responses = list(pool.map(send, range(10)))
|
||||
after = memory()
|
||||
c.call("GET", "/health/ready", schema="Health")
|
||||
for record in responses:
|
||||
if record.get("status") not in {201, 429}:
|
||||
raise AssertionError(record)
|
||||
for container in ids:
|
||||
state = json.loads(
|
||||
subprocess.check_output(["docker", "inspect", container], text=True)
|
||||
)[0]["State"]
|
||||
if state["OOMKilled"] or not state["Running"]:
|
||||
raise AssertionError("API OOM or not running")
|
||||
result["runs"].append(
|
||||
{
|
||||
"image_dimensions": [side, side],
|
||||
"size_bytes": len(data),
|
||||
"before": before,
|
||||
"after": after,
|
||||
"responses": responses,
|
||||
"ready_after": True,
|
||||
}
|
||||
)
|
||||
Path(args.output).write_text(json.dumps(result, indent=2) + "\n")
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"runs": [
|
||||
{
|
||||
"size_bytes": r["size_bytes"],
|
||||
"statuses": [x.get("status", x.get("error")) for x in r["responses"]],
|
||||
}
|
||||
for r in result["runs"]
|
||||
]
|
||||
}
|
||||
)
|
||||
)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user