fix: reject noncanonical cursors and verify storage failover

This commit is contained in:
2026-11-06 18:20:32 +03:00
parent 619155f1e0
commit ff17362bcd
8 changed files with 246 additions and 16 deletions
+20 -8
View File
@@ -98,21 +98,23 @@ docker compose run --rm --no-deps research
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
После сохранённых измерений внесена отдельная правка `domain.boundary`: строгая RFC3339Z-дата с календарной проверкой и целочисленная версия cursor вместо расширений Python ISO parser. Этот путь не используется исследованием сверки или image upload. Исходные hashes в raw JSON оставлены как снимок измеренного runtime, не переписаны под новый файл. Финальные HTTP/unit регрессии проверяют эту правку отдельно.
### Результат исследовательского прогона
[reconcile-study.json](evidence/reconcile-study.json) содержит **30 успешных проверок**, девять замеров обхода и hashes runtime. Первый apply удалил остатки двух старых intent и orphan, пометил один missing original failed; повтор не сделал новых изменений. Проверены также ошибка DELETE после удаления bytes и последующий read-only dry-run. Временные БД и bucket удалены.
| Добавлено intact | Фактически просмотрено metadata | Медиана трёх обходов |
|---:|---:|---:|
| 10 | 13 | 0,018528 с |
| 100 | 103 | 0,126891 с |
| 1000 | 1003 | 1,684725 с |
| 10 | 13 | 0,023085 с |
| 100 | 103 | 0,170581 с |
| 1000 | 1003 | 1,581705 с |
Рост близок к росту числа HEAD/SQL round trips. Это локальная стоимость консервативного обхода; нет утверждения о линейности для любой БД/сети. Помимо добавленных строк остаются три intact fault fixtures; missing failed исключён из ready scan.
### Результат десяти конкурентных upload
После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 130342912 и130285568 байт, LB18243584 байт. Лимиты соответственно512/512/128MiB.
После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 122773504 и122679296 байт, LB19656704 байт. Лимиты соответственно512/512/128MiB.
Before/after peaks не выросли: начальная загрузка приложения/Argon2 уже создала больший high-water. Поэтому опыт доказывает ограниченное поведение выбранной нагрузки без OOM, но не выделяет точную память одной загрузки и не доказывает экономию RAM самим spool.
@@ -121,13 +123,23 @@ Before/after peaks не выросли: начальная загрузка пр
| Критерий | Сценарий | Доказательство |
|---|---|---|
| Контракт и схема | make check validate | evidence/contract-checks.txt |
| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-strict.txt |
| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-strict.txt: 88 passed |
| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-strict.txt |
| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-final.txt |
| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-final.txt |
| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-final.txt |
| Независимая проверка реального HTTP | root external regression | Отдельная итоговая проверка общего пакета |
| Десять одновременных upload | research/upload_memory.py | evidence/upload-memory-final.json |
| Reconciler/fault-injection/стоимость | tools profile research | evidence/reconcile-study.json |
| Сохранность/переключение/отказы | публичные resilience + собственные реальные stop/pause | Итоговые evidence persistence/failover/storage-checks |
| Сохранность данных/прежней сессии/файла | make test-persistence + реальные timestamps | evidence/persistence-final.txt; persistence-before-containers.json; persistence-after-containers.json |
| Отказ каждой физической API | 4 публичных failover до покрытия двух разных контейнеров | evidence/failover-1.txt .. failover-4.txt; failover-hooks.jsonl |
| Отказ именно загрузившей API и download другой | scripts/verify_attachment_failover.py | evidence/attachment-failover.json |
| Приватный S3/ограниченные credentials/backend isolation/отказы/schema | scripts/verify_storage.py: 15 проверок | evidence/storage-checks.json |
| JSON503 без выдуманного instance при отсутствии всех API | explicit stop all APIs | evidence/attachment-failover.json |
### Наблюдения отказов
Действительный upload обслужила одна API, затем она была остановлена по её X-Instance-Id. Другая API вернула те же исходные bytes через 2,318 секунды; сохранены оба alias и checksum. Публичные failover-прогоны допускают краткие ошибки обнаружения: точные успешные записи, failed_attempts и first_recovery_seconds находятся в четырёх raw outputs. После каждого отказа реплика восстановлена; audit доказывает остановку двух разных контейнеров, а не только смену заголовка.
При выключенном S3 direct API readiness и content возвращают503 в пределах сетевых таймаутов. После запуска оригинал совпадает. Paused PostgreSQL даёт503 с client-side deadline; после unpause прежняя сессия работает. Переименование message_requests делает readiness503, возврат схемы восстанавливает200. Когда LB не видит ни одной готовой API, он возвращает JSON503 с динамическим согласованным X-Request-Id и без фиктивного X-Instance-Id.
## Ограничения
+2
View File
@@ -25,6 +25,8 @@ resolvers docker
frontend public
bind :8080
http-request set-var(txn.lb_request_id) uuid()
http-request return status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No ready API","request_id":"%[var(txn.lb_request_id)]"}}' hdr X-Request-Id '%[var(txn.lb_request_id)]' if { nbsrv(apis) eq 0 }
default_backend apis
backend apis
+26 -5
View File
@@ -1,19 +1,40 @@
"""Map a process alias to its real container, then leave exactly it stopped."""
import json
import os
import subprocess
from datetime import UTC, datetime
from pathlib import Path
wanted = os.environ["TARGET_INSTANCE_ID"]
ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split()
for cid in ids:
result = subprocess.run(
["docker", "exec", cid, "python", "-c",
"import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])"],
text=True, capture_output=True, check=False,
[
"docker",
"exec",
cid,
"python",
"-c",
"import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])",
],
text=True,
capture_output=True,
check=False,
)
if result.returncode == 0 and result.stdout.strip() == wanted:
subprocess.run(["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL)
print(json.dumps({"stopped_container": cid, "instance_id": wanted}))
subprocess.run(
["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL
)
record = {
"stopped_container": cid,
"instance_id": wanted,
"stopped_at": datetime.now(UTC).isoformat(),
}
Path("evidence").mkdir(exist_ok=True)
with Path("evidence/failover-hooks.jsonl").open("a") as output:
output.write(json.dumps(record) + "\n")
print(json.dumps(record))
break
else:
raise SystemExit("Target instance not found among this project's API containers")
+101
View File
@@ -0,0 +1,101 @@
#!/usr/bin/env python3
"""Stop the actual uploader, read via another process, and test LB's no-backend JSON."""
import json
import os
import subprocess
import sys
import time
import urllib.error
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "tests"))
from client import Client # noqa: E402 - load the unchanged public helper after adding tests path.
def main():
c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084"))
alice, bob, _, chat = c.bootstrap()
data = (ROOT / "tests/fixtures/sample.png").read_bytes()
uploaded = c.call(
"POST",
f"/api/v1/chats/{chat['id']}/attachments?filename=failover.png",
201,
actor=alice,
raw=data,
headers={"Content-Type": "image/png"},
schema="Attachment",
)
target = uploaded["headers"]["X-Instance-Id"]
started = time.monotonic()
try:
subprocess.run(
[str(ROOT / "scripts/stop-one.sh")],
cwd=ROOT,
env={**os.environ, "TARGET_INSTANCE_ID": target},
check=True,
capture_output=True,
)
for _ in range(40):
try:
downloaded = c.call(
"GET", f"/api/v1/attachments/{uploaded['json']['id']}/content", actor=bob
)
if downloaded["headers"]["X-Instance-Id"] != target:
break
except AssertionError:
pass
time.sleep(0.2)
else:
raise AssertionError("Uploader failover timed out")
assert downloaded["bytes"] == data
result = {
"uploader_instance": target,
"download_instance": downloaded["headers"]["X-Instance-Id"],
"same_original_bytes": True,
"sha256": uploaded["json"]["sha256"],
"elapsed_seconds": time.monotonic() - started,
}
finally:
subprocess.run(
["docker", "compose", "up", "-d", "--wait", "--no-recreate"],
cwd=ROOT,
check=True,
capture_output=True,
)
subprocess.run(["docker", "compose", "stop", "api"], cwd=ROOT, check=True, capture_output=True)
try:
time.sleep(3)
try:
response = urllib.request.urlopen(c.base + "/api/v1/users/me", timeout=3)
except urllib.error.HTTPError as exc:
response = exc
with response:
body = json.loads(response.read())
assert response.code == 503 and body["error"]["code"] == "unavailable"
assert response.headers["X-Request-Id"] == body["error"]["request_id"]
assert not response.headers.get("X-Instance-Id")
result["lb_no_backend"] = {
"status": response.code,
"request_id": response.headers["X-Request-Id"],
"no_fake_instance": True,
}
finally:
subprocess.run(
["docker", "compose", "up", "-d", "--wait", "--no-recreate"],
cwd=ROOT,
check=True,
capture_output=True,
)
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
result["existing_session_recovers"] = True
(ROOT / "evidence/attachment-failover.json").write_text(
json.dumps(result, ensure_ascii=False, indent=2) + "\n"
)
print(json.dumps(result, ensure_ascii=False))
if __name__ == "__main__":
main()
+11 -1
View File
@@ -3,6 +3,7 @@
import hashlib
import json
import os
import subprocess
import sys
import time
@@ -47,7 +48,7 @@ print(json.dumps({"status":r.code,"elapsed":time.monotonic()-start,"json":json.l
def main():
c = Client("http://127.0.0.1:8084")
c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084"))
alice, _, _, chat = c.bootstrap()
attachment, content = c.attachment(alice, chat)
report = {"checks": [], "faults": []}
@@ -149,6 +150,15 @@ print(json.dumps({"anonymous_status":anon,"unrelated_bucket_denied":denied,"back
"s.pool.putconn(c); s.close(); print('{}')"
)
check("schema_restore_ready_200", request("/health/ready")["status"] == 200)
for _ in range(30):
try:
c.call("GET", "/api/v1/users/me", actor=alice, schema="User")
break
except AssertionError:
time.sleep(0.5)
else:
raise AssertionError("LB did not readmit recovered API")
check("lb_readmits_recovered_api", True)
Path(ROOT / "evidence/storage-checks.json").write_text(
json.dumps(report, ensure_ascii=False, indent=2) + "\n"
)
+11 -2
View File
@@ -30,10 +30,19 @@ def boundary(scope: str, cursor: str | None) -> tuple[str, str] | None:
if not cursor or len(cursor) > 1024 or not re.fullmatch(r"[A-Za-z0-9_-]+", cursor):
raise ValueError
data = json.loads(base64.urlsafe_b64decode(cursor + "=" * (-len(cursor) % 4)))
if not isinstance(data, list) or len(data) != 4 or data[:2] != [1, scope]:
if (
not isinstance(data, list)
or len(data) != 4
or type(data[0]) is not int
or data[0] != 1
or data[1] != scope
):
raise ValueError
date, uid = data[2:]
if not isinstance(date, str) or not date.endswith("Z"):
if not isinstance(date, str) or not re.fullmatch(
r"[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}(?:\.[0-9]{1,6})?Z",
date,
):
raise ValueError
datetime.fromisoformat(date.replace("Z", "+00:00"))
if not isinstance(uid, str) or str(UUID(uid)) != uid:
+36
View File
@@ -1,6 +1,8 @@
"""Black-box regressions derived from the contract and teacher review comments."""
import base64
import hashlib
import json
import os
import struct
import uuid
@@ -243,3 +245,37 @@ def test_parallel_same_key_across_replicas(scenario):
assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2
history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"]
assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1
def test_exact_pixel_boundary_is_accepted(scenario):
uploaded = upload(scenario, data=image_bytes(size=(8000, 5000)))["json"]
assert uploaded["status"] == "ready"
@pytest.mark.parametrize(
"version,date",
[
(True, "2026-01-01T00:00:00Z"),
(1.0, "2026-01-01T00:00:00Z"),
(1, "2026-W01-1T00:00:00Z"),
(1, "20260101T000000Z"),
(1, "2026-01-01 00:00:00Z"),
(1, "2026-01-01X00:00:00Z"),
(1, "2026-02-30T00:00:00Z"),
(1, "2026-01-01T00:00:00.1234567Z"),
(1, "0000-01-01T00:00:00Z"),
(1, "2026-01-01T24:00:00Z"),
],
)
def test_noncanonical_cursor_over_http(scenario, version, date):
c, alice, _, _, chat = scenario
for path, scope in [
("/api/v1/chats", "chats:" + alice["id"]),
(f"/api/v1/chats/{chat['id']}/messages", "messages:" + chat["id"]),
]:
cursor = (
base64.urlsafe_b64encode(json.dumps([version, scope, date, str(uuid.uuid4())]).encode())
.decode()
.rstrip("=")
)
c.call("GET", path + "?cursor=" + cursor, 400, actor=alice)
+39
View File
@@ -0,0 +1,39 @@
import base64
import json
from uuid import uuid4
import pytest
from messenger.domain import Failure, boundary
@pytest.mark.parametrize(
"version,date",
[
(True, "2026-01-01T00:00:00Z"),
(1.0, "2026-01-01T00:00:00Z"),
(1, "2026-W01-1T00:00:00Z"),
(1, "20260101T000000Z"),
(1, "2026-01-01 00:00:00Z"),
(1, "2026-01-01X00:00:00Z"),
(1, "2026-02-30T00:00:00Z"),
(1, "2026-01-01T00:00:00.1234567Z"),
],
)
def test_boundary_rejects_python_iso_extensions(version, date):
payload = [version, "scope", date, str(uuid4())]
cursor = base64.urlsafe_b64encode(json.dumps(payload).encode()).decode().rstrip("=")
with pytest.raises(Failure) as error:
boundary("scope", cursor)
assert error.value.status == 400
@pytest.mark.parametrize(
"date", ["2026-01-01T00:00:00Z", "2026-01-01T00:00:00.1Z", "2026-01-01T00:00:00.123456Z"]
)
def test_boundary_preserves_generated_format(date):
uid = str(uuid4())
cursor = (
base64.urlsafe_b64encode(json.dumps([1, "scope", date, uid]).encode()).decode().rstrip("=")
)
assert boundary("scope", cursor) == (date, uid)