fix: reject noncanonical cursors and verify storage failover
This commit is contained in:
@@ -98,21 +98,23 @@ docker compose run --rm --no-deps research
|
||||
|
||||
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
|
||||
|
||||
После сохранённых измерений внесена отдельная правка `domain.boundary`: строгая RFC3339Z-дата с календарной проверкой и целочисленная версия cursor вместо расширений Python ISO parser. Этот путь не используется исследованием сверки или image upload. Исходные hashes в raw JSON оставлены как снимок измеренного runtime, не переписаны под новый файл. Финальные HTTP/unit регрессии проверяют эту правку отдельно.
|
||||
|
||||
### Результат исследовательского прогона
|
||||
|
||||
[reconcile-study.json](evidence/reconcile-study.json) содержит **30 успешных проверок**, девять замеров обхода и hashes runtime. Первый apply удалил остатки двух старых intent и orphan, пометил один missing original failed; повтор не сделал новых изменений. Проверены также ошибка DELETE после удаления bytes и последующий read-only dry-run. Временные БД и bucket удалены.
|
||||
|
||||
| Добавлено intact | Фактически просмотрено metadata | Медиана трёх обходов |
|
||||
|---:|---:|---:|
|
||||
| 10 | 13 | 0,018528 с |
|
||||
| 100 | 103 | 0,126891 с |
|
||||
| 1000 | 1003 | 1,684725 с |
|
||||
| 10 | 13 | 0,023085 с |
|
||||
| 100 | 103 | 0,170581 с |
|
||||
| 1000 | 1003 | 1,581705 с |
|
||||
|
||||
Рост близок к росту числа HEAD/SQL round trips. Это локальная стоимость консервативного обхода; нет утверждения о линейности для любой БД/сети. Помимо добавленных строк остаются три intact fault fixtures; missing failed исключён из ready scan.
|
||||
|
||||
### Результат десяти конкурентных upload
|
||||
|
||||
После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 130342912 и130285568 байт, LB18243584 байт. Лимиты соответственно512/512/128MiB.
|
||||
После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 122773504 и122679296 байт, LB19656704 байт. Лимиты соответственно512/512/128MiB.
|
||||
|
||||
Before/after peaks не выросли: начальная загрузка приложения/Argon2 уже создала больший high-water. Поэтому опыт доказывает ограниченное поведение выбранной нагрузки без OOM, но не выделяет точную память одной загрузки и не доказывает экономию RAM самим spool.
|
||||
|
||||
@@ -121,13 +123,23 @@ Before/after peaks не выросли: начальная загрузка пр
|
||||
| Критерий | Сценарий | Доказательство |
|
||||
|---|---|---|
|
||||
| Контракт и схема | make check validate | evidence/contract-checks.txt |
|
||||
| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-strict.txt |
|
||||
| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-strict.txt: 88 passed |
|
||||
| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-strict.txt |
|
||||
| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-final.txt |
|
||||
| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-final.txt |
|
||||
| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-final.txt |
|
||||
| Независимая проверка реального HTTP | root external regression | Отдельная итоговая проверка общего пакета |
|
||||
| Десять одновременных upload | research/upload_memory.py | evidence/upload-memory-final.json |
|
||||
| Reconciler/fault-injection/стоимость | tools profile research | evidence/reconcile-study.json |
|
||||
| Сохранность/переключение/отказы | публичные resilience + собственные реальные stop/pause | Итоговые evidence persistence/failover/storage-checks |
|
||||
| Сохранность данных/прежней сессии/файла | make test-persistence + реальные timestamps | evidence/persistence-final.txt; persistence-before-containers.json; persistence-after-containers.json |
|
||||
| Отказ каждой физической API | 4 публичных failover до покрытия двух разных контейнеров | evidence/failover-1.txt .. failover-4.txt; failover-hooks.jsonl |
|
||||
| Отказ именно загрузившей API и download другой | scripts/verify_attachment_failover.py | evidence/attachment-failover.json |
|
||||
| Приватный S3/ограниченные credentials/backend isolation/отказы/schema | scripts/verify_storage.py: 15 проверок | evidence/storage-checks.json |
|
||||
| JSON503 без выдуманного instance при отсутствии всех API | explicit stop all APIs | evidence/attachment-failover.json |
|
||||
|
||||
### Наблюдения отказов
|
||||
|
||||
Действительный upload обслужила одна API, затем она была остановлена по её X-Instance-Id. Другая API вернула те же исходные bytes через 2,318 секунды; сохранены оба alias и checksum. Публичные failover-прогоны допускают краткие ошибки обнаружения: точные успешные записи, failed_attempts и first_recovery_seconds находятся в четырёх raw outputs. После каждого отказа реплика восстановлена; audit доказывает остановку двух разных контейнеров, а не только смену заголовка.
|
||||
|
||||
При выключенном S3 direct API readiness и content возвращают503 в пределах сетевых таймаутов. После запуска оригинал совпадает. Paused PostgreSQL даёт503 с client-side deadline; после unpause прежняя сессия работает. Переименование message_requests делает readiness503, возврат схемы восстанавливает200. Когда LB не видит ни одной готовой API, он возвращает JSON503 с динамическим согласованным X-Request-Id и без фиктивного X-Instance-Id.
|
||||
|
||||
## Ограничения
|
||||
|
||||
|
||||
@@ -25,6 +25,8 @@ resolvers docker
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
http-request set-var(txn.lb_request_id) uuid()
|
||||
http-request return status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No ready API","request_id":"%[var(txn.lb_request_id)]"}}' hdr X-Request-Id '%[var(txn.lb_request_id)]' if { nbsrv(apis) eq 0 }
|
||||
default_backend apis
|
||||
|
||||
backend apis
|
||||
|
||||
+26
-5
@@ -1,19 +1,40 @@
|
||||
"""Map a process alias to its real container, then leave exactly it stopped."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
from datetime import UTC, datetime
|
||||
from pathlib import Path
|
||||
|
||||
wanted = os.environ["TARGET_INSTANCE_ID"]
|
||||
ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split()
|
||||
for cid in ids:
|
||||
result = subprocess.run(
|
||||
["docker", "exec", cid, "python", "-c",
|
||||
"import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])"],
|
||||
text=True, capture_output=True, check=False,
|
||||
[
|
||||
"docker",
|
||||
"exec",
|
||||
cid,
|
||||
"python",
|
||||
"-c",
|
||||
"import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])",
|
||||
],
|
||||
text=True,
|
||||
capture_output=True,
|
||||
check=False,
|
||||
)
|
||||
if result.returncode == 0 and result.stdout.strip() == wanted:
|
||||
subprocess.run(["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL)
|
||||
print(json.dumps({"stopped_container": cid, "instance_id": wanted}))
|
||||
subprocess.run(
|
||||
["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL
|
||||
)
|
||||
record = {
|
||||
"stopped_container": cid,
|
||||
"instance_id": wanted,
|
||||
"stopped_at": datetime.now(UTC).isoformat(),
|
||||
}
|
||||
Path("evidence").mkdir(exist_ok=True)
|
||||
with Path("evidence/failover-hooks.jsonl").open("a") as output:
|
||||
output.write(json.dumps(record) + "\n")
|
||||
print(json.dumps(record))
|
||||
break
|
||||
else:
|
||||
raise SystemExit("Target instance not found among this project's API containers")
|
||||
|
||||
@@ -0,0 +1,101 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Stop the actual uploader, read via another process, and test LB's no-backend JSON."""
|
||||
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / "tests"))
|
||||
from client import Client # noqa: E402 - load the unchanged public helper after adding tests path.
|
||||
|
||||
|
||||
def main():
|
||||
c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084"))
|
||||
alice, bob, _, chat = c.bootstrap()
|
||||
data = (ROOT / "tests/fixtures/sample.png").read_bytes()
|
||||
uploaded = c.call(
|
||||
"POST",
|
||||
f"/api/v1/chats/{chat['id']}/attachments?filename=failover.png",
|
||||
201,
|
||||
actor=alice,
|
||||
raw=data,
|
||||
headers={"Content-Type": "image/png"},
|
||||
schema="Attachment",
|
||||
)
|
||||
target = uploaded["headers"]["X-Instance-Id"]
|
||||
started = time.monotonic()
|
||||
try:
|
||||
subprocess.run(
|
||||
[str(ROOT / "scripts/stop-one.sh")],
|
||||
cwd=ROOT,
|
||||
env={**os.environ, "TARGET_INSTANCE_ID": target},
|
||||
check=True,
|
||||
capture_output=True,
|
||||
)
|
||||
for _ in range(40):
|
||||
try:
|
||||
downloaded = c.call(
|
||||
"GET", f"/api/v1/attachments/{uploaded['json']['id']}/content", actor=bob
|
||||
)
|
||||
if downloaded["headers"]["X-Instance-Id"] != target:
|
||||
break
|
||||
except AssertionError:
|
||||
pass
|
||||
time.sleep(0.2)
|
||||
else:
|
||||
raise AssertionError("Uploader failover timed out")
|
||||
assert downloaded["bytes"] == data
|
||||
result = {
|
||||
"uploader_instance": target,
|
||||
"download_instance": downloaded["headers"]["X-Instance-Id"],
|
||||
"same_original_bytes": True,
|
||||
"sha256": uploaded["json"]["sha256"],
|
||||
"elapsed_seconds": time.monotonic() - started,
|
||||
}
|
||||
finally:
|
||||
subprocess.run(
|
||||
["docker", "compose", "up", "-d", "--wait", "--no-recreate"],
|
||||
cwd=ROOT,
|
||||
check=True,
|
||||
capture_output=True,
|
||||
)
|
||||
subprocess.run(["docker", "compose", "stop", "api"], cwd=ROOT, check=True, capture_output=True)
|
||||
try:
|
||||
time.sleep(3)
|
||||
try:
|
||||
response = urllib.request.urlopen(c.base + "/api/v1/users/me", timeout=3)
|
||||
except urllib.error.HTTPError as exc:
|
||||
response = exc
|
||||
with response:
|
||||
body = json.loads(response.read())
|
||||
assert response.code == 503 and body["error"]["code"] == "unavailable"
|
||||
assert response.headers["X-Request-Id"] == body["error"]["request_id"]
|
||||
assert not response.headers.get("X-Instance-Id")
|
||||
result["lb_no_backend"] = {
|
||||
"status": response.code,
|
||||
"request_id": response.headers["X-Request-Id"],
|
||||
"no_fake_instance": True,
|
||||
}
|
||||
finally:
|
||||
subprocess.run(
|
||||
["docker", "compose", "up", "-d", "--wait", "--no-recreate"],
|
||||
cwd=ROOT,
|
||||
check=True,
|
||||
capture_output=True,
|
||||
)
|
||||
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
|
||||
result["existing_session_recovers"] = True
|
||||
(ROOT / "evidence/attachment-failover.json").write_text(
|
||||
json.dumps(result, ensure_ascii=False, indent=2) + "\n"
|
||||
)
|
||||
print(json.dumps(result, ensure_ascii=False))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -3,6 +3,7 @@
|
||||
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
@@ -47,7 +48,7 @@ print(json.dumps({"status":r.code,"elapsed":time.monotonic()-start,"json":json.l
|
||||
|
||||
|
||||
def main():
|
||||
c = Client("http://127.0.0.1:8084")
|
||||
c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084"))
|
||||
alice, _, _, chat = c.bootstrap()
|
||||
attachment, content = c.attachment(alice, chat)
|
||||
report = {"checks": [], "faults": []}
|
||||
@@ -149,6 +150,15 @@ print(json.dumps({"anonymous_status":anon,"unrelated_bucket_denied":denied,"back
|
||||
"s.pool.putconn(c); s.close(); print('{}')"
|
||||
)
|
||||
check("schema_restore_ready_200", request("/health/ready")["status"] == 200)
|
||||
for _ in range(30):
|
||||
try:
|
||||
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
|
||||
break
|
||||
except AssertionError:
|
||||
time.sleep(0.5)
|
||||
else:
|
||||
raise AssertionError("LB did not readmit recovered API")
|
||||
check("lb_readmits_recovered_api", True)
|
||||
Path(ROOT / "evidence/storage-checks.json").write_text(
|
||||
json.dumps(report, ensure_ascii=False, indent=2) + "\n"
|
||||
)
|
||||
|
||||
+11
-2
@@ -30,10 +30,19 @@ def boundary(scope: str, cursor: str | None) -> tuple[str, str] | None:
|
||||
if not cursor or len(cursor) > 1024 or not re.fullmatch(r"[A-Za-z0-9_-]+", cursor):
|
||||
raise ValueError
|
||||
data = json.loads(base64.urlsafe_b64decode(cursor + "=" * (-len(cursor) % 4)))
|
||||
if not isinstance(data, list) or len(data) != 4 or data[:2] != [1, scope]:
|
||||
if (
|
||||
not isinstance(data, list)
|
||||
or len(data) != 4
|
||||
or type(data[0]) is not int
|
||||
or data[0] != 1
|
||||
or data[1] != scope
|
||||
):
|
||||
raise ValueError
|
||||
date, uid = data[2:]
|
||||
if not isinstance(date, str) or not date.endswith("Z"):
|
||||
if not isinstance(date, str) or not re.fullmatch(
|
||||
r"[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}(?:\.[0-9]{1,6})?Z",
|
||||
date,
|
||||
):
|
||||
raise ValueError
|
||||
datetime.fromisoformat(date.replace("Z", "+00:00"))
|
||||
if not isinstance(uid, str) or str(UUID(uid)) != uid:
|
||||
|
||||
@@ -1,6 +1,8 @@
|
||||
"""Black-box regressions derived from the contract and teacher review comments."""
|
||||
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import struct
|
||||
import uuid
|
||||
@@ -243,3 +245,37 @@ def test_parallel_same_key_across_replicas(scenario):
|
||||
assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2
|
||||
history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"]
|
||||
assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1
|
||||
|
||||
|
||||
def test_exact_pixel_boundary_is_accepted(scenario):
|
||||
uploaded = upload(scenario, data=image_bytes(size=(8000, 5000)))["json"]
|
||||
assert uploaded["status"] == "ready"
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"version,date",
|
||||
[
|
||||
(True, "2026-01-01T00:00:00Z"),
|
||||
(1.0, "2026-01-01T00:00:00Z"),
|
||||
(1, "2026-W01-1T00:00:00Z"),
|
||||
(1, "20260101T000000Z"),
|
||||
(1, "2026-01-01 00:00:00Z"),
|
||||
(1, "2026-01-01X00:00:00Z"),
|
||||
(1, "2026-02-30T00:00:00Z"),
|
||||
(1, "2026-01-01T00:00:00.1234567Z"),
|
||||
(1, "0000-01-01T00:00:00Z"),
|
||||
(1, "2026-01-01T24:00:00Z"),
|
||||
],
|
||||
)
|
||||
def test_noncanonical_cursor_over_http(scenario, version, date):
|
||||
c, alice, _, _, chat = scenario
|
||||
for path, scope in [
|
||||
("/api/v1/chats", "chats:" + alice["id"]),
|
||||
(f"/api/v1/chats/{chat['id']}/messages", "messages:" + chat["id"]),
|
||||
]:
|
||||
cursor = (
|
||||
base64.urlsafe_b64encode(json.dumps([version, scope, date, str(uuid.uuid4())]).encode())
|
||||
.decode()
|
||||
.rstrip("=")
|
||||
)
|
||||
c.call("GET", path + "?cursor=" + cursor, 400, actor=alice)
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
import base64
|
||||
import json
|
||||
from uuid import uuid4
|
||||
|
||||
import pytest
|
||||
|
||||
from messenger.domain import Failure, boundary
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"version,date",
|
||||
[
|
||||
(True, "2026-01-01T00:00:00Z"),
|
||||
(1.0, "2026-01-01T00:00:00Z"),
|
||||
(1, "2026-W01-1T00:00:00Z"),
|
||||
(1, "20260101T000000Z"),
|
||||
(1, "2026-01-01 00:00:00Z"),
|
||||
(1, "2026-01-01X00:00:00Z"),
|
||||
(1, "2026-02-30T00:00:00Z"),
|
||||
(1, "2026-01-01T00:00:00.1234567Z"),
|
||||
],
|
||||
)
|
||||
def test_boundary_rejects_python_iso_extensions(version, date):
|
||||
payload = [version, "scope", date, str(uuid4())]
|
||||
cursor = base64.urlsafe_b64encode(json.dumps(payload).encode()).decode().rstrip("=")
|
||||
with pytest.raises(Failure) as error:
|
||||
boundary("scope", cursor)
|
||||
assert error.value.status == 400
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"date", ["2026-01-01T00:00:00Z", "2026-01-01T00:00:00.1Z", "2026-01-01T00:00:00.123456Z"]
|
||||
)
|
||||
def test_boundary_preserves_generated_format(date):
|
||||
uid = str(uuid4())
|
||||
cursor = (
|
||||
base64.urlsafe_b64encode(json.dumps([1, "scope", date, uid]).encode()).decode().rstrip("=")
|
||||
)
|
||||
assert boundary("scope", cursor) == (date, uid)
|
||||
Reference in New Issue
Block a user