test: cover reconciliation failure windows and bounded upload memory

This commit is contained in:
2026-11-06 17:59:42 +03:00
parent 59b2f031bc
commit ca9570f495
5 changed files with 276 additions and 1 deletions
+23
View File
@@ -0,0 +1,23 @@
# Учтённые замечания преподавателей
Чужие PR использованы для изучения требований и типовых ошибок до реализации, не как источник кода или результатов. Отсутствие комментария не трактуется как доказательство правильности решения. Исходные комментарии доступны по ссылкам ниже; обзор собран 2026-11-06.
| Источник | Риск | Наше решение / проверка |
|---|---|---|
| [PR1](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/1#issuecomment-238) | Dry-run продолжает частичное удаление; missing/null в JSON принимаются | Каждая мутация только внутри apply; real DB DELETE fault → dry-run → repeat. Strict модели отличают обязательный text и массив attachment_ids |
| [PR4](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/4#issuecomment-506), [PR7](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/7#issuecomment-571) | Повреждённые изображения, неверные byte/pixel лимиты, root credentials, S3 500/timeouts | Полное verify+decode, проверка размеров до decode, 10 MiB включительно через LB, bounded S3 calls, отдельные app/admin keys |
| [PR8](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/8#issuecomment-572) | PNG palette 257 и недопустимый filter | Проверяет Pillow 12.3; отдельные воспроизведения |
| [PR12](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/12#issuecomment-630) | Удаление S3 при неопределённом COMMIT | Никакого немедленного delete в catch; durable upload_intent, сверка после grace |
| [PR13](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/13#issuecomment-735) | Пробельный filename, тест ACL без Idempotency-Key | Filename проверяется до I/O; тесты авторизации предъявляют действительный ключ |
| [PR24](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/24#issuecomment-990), [PR25](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/25#issuecomment-1007), [PR49](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/49#issuecomment-1507) | JPEG без scan/половина JPEG с поддельным EOI; OOM LB | Pillow дополняется строгим djpeg с timeout; 10 конкурентных upload через HAProxy, memory.events/peak API и LB |
| [PR27](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/27#issuecomment-1442), [PR15](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/15#issuecomment-1444) | Анонимный filer GET обходит приватный S3 | Storage backend в отдельной internal network; API видит только S3 gateway |
| [PR22](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/22#issuecomment-1446) | Filename C0/C1/DEL, неверные 400/404/415, потеря порядка вложений | Unicode category Cc; контрактные коды; position в связях и сохранённый JSON ответа |
| [PR21](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/21#issuecomment-1448) | Pending никогда не очищается | Старые intent удаляются с их остаточными объектами после grace; активная row lock защищает живой PUT |
| [PR47](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/47#issuecomment-1508) | Pixel bomb неверный код; отсутствующий filename 422 | Dimension check до декодирования, DecompressionBombError→413; собственная query validation→400 |
| [PR56](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/56#issuecomment-1550) | JSON null и повреждённые PNG/JPEG | Strict model + generated corrupt fixtures |
| [PR60](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/60#issuecomment-1551) | Проверка только заголовка крупных файлов, NUL text, paused PostgreSQL | Полный decode во всём допустимом диапазоне; bytea для lossless UTF-8; client-side deadline connection |
| [PR59](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/59#issuecomment-1552), [PR64](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/64#issuecomment-1576), [PR63](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/63#issuecomment-1625) | Серверный SQL timeout не срабатывает при pause БД | Клиентский I/O deadline закрывает неопределённое соединение; реальные pause/resume проверки |
| [PR28](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/28#issuecomment-1555) | Username с завершающим LF | Полный re.fullmatch до INSERT |
| [PR58](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/58#issuecomment-1573) | Игнорирование variant/status и воскресающая сессия из кэша | Проверки ready/variant перед GET; каждая сессия проверяется в PostgreSQL |
Дополнительно при сверке учитываются возраст объекта независимо от возраста intent, повторный HEAD перед мутацией вместо старого снимка LIST, сохранение используемых и свежих вложений и запрет сортировать attachment_ids при сравнении идемпотентного запроса. Детальные результаты находятся в REPORT.md и evidence.
+1 -1
View File
@@ -67,7 +67,7 @@ services:
s3-bootstrap: {condition: service_completed_successfully}
storage:
image: chrislusf/seaweedfs:4.15@sha256:1593bd2a98964f5d4df83fa7db2b3d4ee7b20190813cc5bf8c3200e0e70d346e
command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=4, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64]
command: [server, -dir=/data, -ip=storage, -ip.bind=0.0.0.0, -filer, -volume.max=32, -volume.preStopSeconds=0, -master.volumeSizeLimitMB=64]
volumes: ["s3_data:/data", "./infra/filer.toml:/etc/seaweedfs/filer.toml:ro"]
networks: [storage_backend]
cpus: 1
+53
View File
@@ -0,0 +1,53 @@
# Трек 2: согласованность PostgreSQL и S3
## Гипотеза
Durable intent до S3 PUT, row lock на время PUT/финализации и консервативный reconciler с grace + актуальным HEAD позволяют обнаружить и безопасно убрать остатки незавершённых upload, сохранив подтверждённые и свежие данные. Один COMMIT не делает распределённую транзакцию с S3, поэтому результат проверяется fault-injection.
## Протокол upload
1. Поток HTTP складывается в ограниченный spool: 256 KiB в RAM, затем временный файл на ограниченном tmpfs; максимум 10 MiB.
2. После полного приёма выполняется полная проверка PNG/JPEG. Пиксельный предел применяется до decode. Для JPEG строгий djpeg отвергает предупреждения о повреждении, которые Pillow иногда допускает.
3. Создаётся и фиксируется upload_intent с уникальным server key.
4. Новая транзакция блокирует intent, выполняет S3 PUT и создаёт ready attachment, удаляет intent, COMMIT.
5. Только после успешной фиксации возвращается 201. При неопределённом исходе COMMIT объект немедленно не удаляется.
## Reconciler
По умолчанию dry-run. `--apply` явно разрешает изменения; default grace 3600 секунд. Обход SQL keyset, S3 paginator, page-size 1..1000. Метрики выводятся без credentials и пользовательских текстов.
- Старые intent: `FOR UPDATE SKIP LOCKED` пропускает живой upload. Недавний LastModified объекта защищает его даже при старом intent. При отсутствии ready metadata apply удаляет остаточный объект, затем intent.
- Старые S3 objects в server prefix original/: повторно проверяются PostgreSQL и HEAD. Свежие, учтённые и live intent объекты не удаляются. Чужие prefix вне политики удаления.
- Ready metadata без оригинала: актуальный HEAD под row lock; после grace apply меняет status на failed/storage_missing. Метаданные и связи сообщений сохраняются. Reconciler не может восстановить потерянные bytes без backup.
- Полноценные ready вложения, даже пока не прикреплённые к сообщению, не удаляются.
- Audit пишется только в apply. После частично завершённого удаления повторный dry-run не продолжает очистку.
## Воспроизведение
Из корня репозитория после `make up`:
```sh
# Исследование получает admin keys только в отдельном profile tools.
# Создаёт отдельные БД и bucket, очищает только их в finally.
docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2>&1
```
В строке `RESULT ` находится JSON с исходными счётчиками, проверками, хешами кода и результатами времени. Основная messenger БД и bucket не очищаются.
Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала.
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
## Память десяти конкурентных upload
```sh
uv run --locked python research/upload_memory.py --restart-api --output evidence/upload-memory-repeat.json
```
Генератор использует настоящие PNG 512×512 и 1700×1700. На каждой точке десять клиентов стартуют через barrier и идут через LB. По одному upload slot на API-реплику, занятые места возвращают контролируемый 429 с Retry-After. Сохраняются status/latency и cgroup current/peak/memory.events, VmHWM API и LB. Проверяются readiness и отсутствие OOM.
Kernel peaks накопительные с момента старта; before/after показаны честно, без приписывания всей памяти image buffer. Регистрация и импорт Argon2 тоже влияют на high-water. Это проверка ограниченной памяти/backpressure, а не доказательство роста максимальной пропускной способности.
## Ограничения
Нет атомарной транзакции через обе системы. Консервативная очистка допускает временные остатки до grace и явного apply. Сбой самого S3/БД не интерпретируется как отсутствие объекта. Ручной администратор с правом перезаписи может изменить объект после HEAD; инструмент рассчитан на уникальные immutable server keys штатного API. Один host/LB/PostgreSQL/Seaweed backend остаются SPOF. Нет репликации и внешнего backup в этом эксперименте.
+38
View File
@@ -247,6 +247,44 @@ def main():
)
record("failed_cleanup_recovers", recovery_apply["errors"] == 0)
# Failure after deleting bytes but before deleting the durable intent.
delete_id, delete_key = str(uuid4()), "original/delete-ack-fault-" + suffix
with store.connection() as conn:
conn.execute(
"INSERT INTO upload_intents VALUES (%s,%s,now()-interval '1 day')",
(delete_id, delete_key),
)
storage.put(delete_key, BytesIO(data), len(data), "image/png")
time.sleep(2.2)
with store.connection() as conn:
conn.execute(
"CREATE FUNCTION reject_intent_delete() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN RAISE EXCEPTION 'injected intent DELETE failure'; END $$"
)
conn.execute(
"CREATE TRIGGER research_reject_delete BEFORE DELETE ON upload_intents FOR EACH ROW EXECUTE FUNCTION reject_intent_delete()"
)
try:
reconcile(store, storage, apply=True, grace_seconds=2)
raise AssertionError("DELETE fault did not fire")
except psycopg.errors.RaiseException:
record("real_db_delete_failure_after_s3_delete", not storage.exists(delete_key))
finally:
with store.connection() as conn:
conn.execute("DROP TRIGGER research_reject_delete ON upload_intents")
conn.execute("DROP FUNCTION reject_intent_delete()")
with store.connection() as conn:
before_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"]
dry_after_delete = reconcile(store, storage, grace_seconds=2)
with store.connection() as conn:
after_count = conn.execute("SELECT count(*) AS n FROM upload_intents").fetchone()["n"]
record(
"dry_run_does_not_resume_partial_delete",
before_count == after_count and dry_after_delete["deleted_intents"] == 0,
)
resumed = reconcile(store, storage, apply=True, grace_seconds=2)
record("partial_delete_resumes_only_on_apply", resumed["deleted_intents"] == 1)
result["partial_delete_dry"], result["partial_delete_apply"] = dry_after_delete, resumed
# Measure an increasing population of intact, aged metadata/objects. Rows
# share no client names or object paths, and all are in this disposable DB.
current = 0
+161
View File
@@ -0,0 +1,161 @@
"""Ten simultaneous HTTP uploads through LB, with kernel memory high-water readings."""
import argparse
import json
import random
import subprocess
import sys
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from io import BytesIO
from pathlib import Path
import httpx
from PIL import Image
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests"))
from client import Client
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--output", default="evidence/upload-memory.json")
parser.add_argument("--base-url", default="http://127.0.0.1:8084")
parser.add_argument("--restart-api", action="store_true")
args = parser.parse_args()
c = Client(args.base_url)
alice, _, _, chat = c.bootstrap()
if args.restart_api:
subprocess.run(
["docker", "compose", "restart", "api"], check=True, stdout=subprocess.DEVNULL
)
for _ in range(40):
try:
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
break
except AssertionError:
time.sleep(0.5)
else:
raise AssertionError("API did not recover with old token")
ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split()
api_count = len(ids)
ids += subprocess.check_output(["docker", "compose", "ps", "-q", "lb"], text=True).split()
def memory():
result = {}
for container in ids:
lines = subprocess.check_output(
[
"docker",
"exec",
container,
"cat",
"/sys/fs/cgroup/memory.current",
"/sys/fs/cgroup/memory.peak",
"/sys/fs/cgroup/memory.events",
"/proc/1/status",
],
text=True,
).splitlines()
result[container] = {
"current": int(lines[0]),
"peak": int(lines[1]),
"events": {
line.split()[0]: int(line.split()[1])
for line in lines[2:]
if line.split()
and line.split()[0]
in {"low", "high", "max", "oom", "oom_kill", "oom_group_kill"}
},
"process_hwm": next(line for line in lines if line.startswith("VmHWM:")),
}
return result
result = {
"concurrency": 10,
"api_replicas": api_count,
"sampled_api_and_lb_containers": ids,
"api_restarted_before_trial": args.restart_api,
"runs": [],
"limitations": [
"Kernel cgroup peak and process VmHWM are lifetime peaks; before/after reported, not attributed solely to upload buffers",
"Fast rejection 429 is intentional backpressure, not a successful upload",
"Local two-replica stand; not a throughput benchmark",
],
}
for side in (512, 1700):
output = BytesIO()
Image.frombytes("RGB", (side, side), random.Random(42).randbytes(side * side * 3)).save(
output, "PNG"
)
data = output.getvalue()
barrier = threading.Barrier(10)
before = memory()
def send(_, barrier=barrier, data=data):
barrier.wait()
started = time.perf_counter()
try:
with httpx.Client(timeout=20, trust_env=False) as client:
response = client.post(
args.base_url
+ f"/api/v1/chats/{chat['id']}/attachments?filename=memory.png",
content=data,
headers={
"Authorization": "Bearer " + alice["token"],
"Content-Type": "image/png",
},
)
record = {
"status": response.status_code,
"elapsed": time.perf_counter() - started,
}
if response.status_code == 201:
record["attachment_id"] = response.json()["id"]
return record
except httpx.HTTPError as exc:
return {"error": type(exc).__name__, "elapsed": time.perf_counter() - started}
with ThreadPoolExecutor(max_workers=10) as pool:
responses = list(pool.map(send, range(10)))
after = memory()
c.call("GET", "/health/ready", schema="Health")
for record in responses:
if record.get("status") not in {201, 429}:
raise AssertionError(record)
for container in ids:
state = json.loads(
subprocess.check_output(["docker", "inspect", container], text=True)
)[0]["State"]
if state["OOMKilled"] or not state["Running"]:
raise AssertionError("API OOM or not running")
result["runs"].append(
{
"image_dimensions": [side, side],
"size_bytes": len(data),
"before": before,
"after": after,
"responses": responses,
"ready_after": True,
}
)
Path(args.output).write_text(json.dumps(result, indent=2) + "\n")
print(
json.dumps(
{
"runs": [
{
"size_bytes": r["size_bytes"],
"statuses": [x.get("status", x.get("error")) for x in r["responses"]],
}
for r in result["runs"]
]
}
)
)
if __name__ == "__main__":
main()