diff --git a/REPORT.md b/REPORT.md index e1415258..43fbc541 100644 --- a/REPORT.md +++ b/REPORT.md @@ -98,21 +98,23 @@ docker compose run --rm --no-deps research Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput. +После сохранённых измерений внесена отдельная правка `domain.boundary`: строгая RFC3339Z-дата с календарной проверкой и целочисленная версия cursor вместо расширений Python ISO parser. Этот путь не используется исследованием сверки или image upload. Исходные hashes в raw JSON оставлены как снимок измеренного runtime, не переписаны под новый файл. Финальные HTTP/unit регрессии проверяют эту правку отдельно. + ### Результат исследовательского прогона [reconcile-study.json](evidence/reconcile-study.json) содержит **30 успешных проверок**, девять замеров обхода и hashes runtime. Первый apply удалил остатки двух старых intent и orphan, пометил один missing original failed; повтор не сделал новых изменений. Проверены также ошибка DELETE после удаления bytes и последующий read-only dry-run. Временные БД и bucket удалены. | Добавлено intact | Фактически просмотрено metadata | Медиана трёх обходов | |---:|---:|---:| -| 10 | 13 | 0,018528 с | -| 100 | 103 | 0,126891 с | -| 1000 | 1003 | 1,684725 с | +| 10 | 13 | 0,023085 с | +| 100 | 103 | 0,170581 с | +| 1000 | 1003 | 1,581705 с | Рост близок к росту числа HEAD/SQL round trips. Это локальная стоимость консервативного обхода; нет утверждения о линейности для любой БД/сети. Помимо добавленных строк остаются три intact fault fixtures; missing failed исключён из ready scan. ### Результат десяти конкурентных upload -После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 130342912 и130285568 байт, LB18243584 байт. Лимиты соответственно512/512/128MiB. +После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 122773504 и122679296 байт, LB19656704 байт. Лимиты соответственно512/512/128MiB. Before/after peaks не выросли: начальная загрузка приложения/Argon2 уже создала больший high-water. Поэтому опыт доказывает ограниченное поведение выбранной нагрузки без OOM, но не выделяет точную память одной загрузки и не доказывает экономию RAM самим spool. @@ -121,13 +123,23 @@ Before/after peaks не выросли: начальная загрузка пр | Критерий | Сценарий | Доказательство | |---|---|---| | Контракт и схема | make check validate | evidence/contract-checks.txt | -| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-strict.txt | -| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-strict.txt: 88 passed | -| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-strict.txt | +| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-final.txt | +| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-final.txt | +| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-final.txt | | Независимая проверка реального HTTP | root external regression | Отдельная итоговая проверка общего пакета | | Десять одновременных upload | research/upload_memory.py | evidence/upload-memory-final.json | | Reconciler/fault-injection/стоимость | tools profile research | evidence/reconcile-study.json | -| Сохранность/переключение/отказы | публичные resilience + собственные реальные stop/pause | Итоговые evidence persistence/failover/storage-checks | +| Сохранность данных/прежней сессии/файла | make test-persistence + реальные timestamps | evidence/persistence-final.txt; persistence-before-containers.json; persistence-after-containers.json | +| Отказ каждой физической API | 4 публичных failover до покрытия двух разных контейнеров | evidence/failover-1.txt .. failover-4.txt; failover-hooks.jsonl | +| Отказ именно загрузившей API и download другой | scripts/verify_attachment_failover.py | evidence/attachment-failover.json | +| Приватный S3/ограниченные credentials/backend isolation/отказы/schema | scripts/verify_storage.py: 15 проверок | evidence/storage-checks.json | +| JSON503 без выдуманного instance при отсутствии всех API | explicit stop all APIs | evidence/attachment-failover.json | + +### Наблюдения отказов + +Действительный upload обслужила одна API, затем она была остановлена по её X-Instance-Id. Другая API вернула те же исходные bytes через 2,318 секунды; сохранены оба alias и checksum. Публичные failover-прогоны допускают краткие ошибки обнаружения: точные успешные записи, failed_attempts и first_recovery_seconds находятся в четырёх raw outputs. После каждого отказа реплика восстановлена; audit доказывает остановку двух разных контейнеров, а не только смену заголовка. + +При выключенном S3 direct API readiness и content возвращают503 в пределах сетевых таймаутов. После запуска оригинал совпадает. Paused PostgreSQL даёт503 с client-side deadline; после unpause прежняя сессия работает. Переименование message_requests делает readiness503, возврат схемы восстанавливает200. Когда LB не видит ни одной готовой API, он возвращает JSON503 с динамическим согласованным X-Request-Id и без фиктивного X-Instance-Id. ## Ограничения diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg index ae5f764a..62b0a227 100644 --- a/infra/haproxy.cfg +++ b/infra/haproxy.cfg @@ -25,6 +25,8 @@ resolvers docker frontend public bind :8080 + http-request set-var(txn.lb_request_id) uuid() + http-request return status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No ready API","request_id":"%[var(txn.lb_request_id)]"}}' hdr X-Request-Id '%[var(txn.lb_request_id)]' if { nbsrv(apis) eq 0 } default_backend apis backend apis diff --git a/scripts/stop_one.py b/scripts/stop_one.py index 8daf4e0c..164f0238 100644 --- a/scripts/stop_one.py +++ b/scripts/stop_one.py @@ -1,19 +1,40 @@ """Map a process alias to its real container, then leave exactly it stopped.""" + import json import os import subprocess +from datetime import UTC, datetime +from pathlib import Path wanted = os.environ["TARGET_INSTANCE_ID"] ids = subprocess.check_output(["docker", "compose", "ps", "-q", "api"], text=True).split() for cid in ids: result = subprocess.run( - ["docker", "exec", cid, "python", "-c", - "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])"], - text=True, capture_output=True, check=False, + [ + "docker", + "exec", + cid, + "python", + "-c", + "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/live'); print(r.headers['X-Instance-Id'])", + ], + text=True, + capture_output=True, + check=False, ) if result.returncode == 0 and result.stdout.strip() == wanted: - subprocess.run(["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL) - print(json.dumps({"stopped_container": cid, "instance_id": wanted})) + subprocess.run( + ["docker", "stop", "--time", "8", cid], check=True, stdout=subprocess.DEVNULL + ) + record = { + "stopped_container": cid, + "instance_id": wanted, + "stopped_at": datetime.now(UTC).isoformat(), + } + Path("evidence").mkdir(exist_ok=True) + with Path("evidence/failover-hooks.jsonl").open("a") as output: + output.write(json.dumps(record) + "\n") + print(json.dumps(record)) break else: raise SystemExit("Target instance not found among this project's API containers") diff --git a/scripts/verify_attachment_failover.py b/scripts/verify_attachment_failover.py new file mode 100644 index 00000000..9e07fec1 --- /dev/null +++ b/scripts/verify_attachment_failover.py @@ -0,0 +1,101 @@ +#!/usr/bin/env python3 +"""Stop the actual uploader, read via another process, and test LB's no-backend JSON.""" + +import json +import os +import subprocess +import sys +import time +import urllib.error +import urllib.request +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / "tests")) +from client import Client # noqa: E402 - load the unchanged public helper after adding tests path. + + +def main(): + c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084")) + alice, bob, _, chat = c.bootstrap() + data = (ROOT / "tests/fixtures/sample.png").read_bytes() + uploaded = c.call( + "POST", + f"/api/v1/chats/{chat['id']}/attachments?filename=failover.png", + 201, + actor=alice, + raw=data, + headers={"Content-Type": "image/png"}, + schema="Attachment", + ) + target = uploaded["headers"]["X-Instance-Id"] + started = time.monotonic() + try: + subprocess.run( + [str(ROOT / "scripts/stop-one.sh")], + cwd=ROOT, + env={**os.environ, "TARGET_INSTANCE_ID": target}, + check=True, + capture_output=True, + ) + for _ in range(40): + try: + downloaded = c.call( + "GET", f"/api/v1/attachments/{uploaded['json']['id']}/content", actor=bob + ) + if downloaded["headers"]["X-Instance-Id"] != target: + break + except AssertionError: + pass + time.sleep(0.2) + else: + raise AssertionError("Uploader failover timed out") + assert downloaded["bytes"] == data + result = { + "uploader_instance": target, + "download_instance": downloaded["headers"]["X-Instance-Id"], + "same_original_bytes": True, + "sha256": uploaded["json"]["sha256"], + "elapsed_seconds": time.monotonic() - started, + } + finally: + subprocess.run( + ["docker", "compose", "up", "-d", "--wait", "--no-recreate"], + cwd=ROOT, + check=True, + capture_output=True, + ) + subprocess.run(["docker", "compose", "stop", "api"], cwd=ROOT, check=True, capture_output=True) + try: + time.sleep(3) + try: + response = urllib.request.urlopen(c.base + "/api/v1/users/me", timeout=3) + except urllib.error.HTTPError as exc: + response = exc + with response: + body = json.loads(response.read()) + assert response.code == 503 and body["error"]["code"] == "unavailable" + assert response.headers["X-Request-Id"] == body["error"]["request_id"] + assert not response.headers.get("X-Instance-Id") + result["lb_no_backend"] = { + "status": response.code, + "request_id": response.headers["X-Request-Id"], + "no_fake_instance": True, + } + finally: + subprocess.run( + ["docker", "compose", "up", "-d", "--wait", "--no-recreate"], + cwd=ROOT, + check=True, + capture_output=True, + ) + c.call("GET", "/api/v1/users/me", actor=alice, schema="User") + result["existing_session_recovers"] = True + (ROOT / "evidence/attachment-failover.json").write_text( + json.dumps(result, ensure_ascii=False, indent=2) + "\n" + ) + print(json.dumps(result, ensure_ascii=False)) + + +if __name__ == "__main__": + main() diff --git a/scripts/verify_storage.py b/scripts/verify_storage.py index b225a39d..5ebcde71 100644 --- a/scripts/verify_storage.py +++ b/scripts/verify_storage.py @@ -3,6 +3,7 @@ import hashlib import json +import os import subprocess import sys import time @@ -47,7 +48,7 @@ print(json.dumps({"status":r.code,"elapsed":time.monotonic()-start,"json":json.l def main(): - c = Client("http://127.0.0.1:8084") + c = Client(os.getenv("BASE_URL", "http://127.0.0.1:8084")) alice, _, _, chat = c.bootstrap() attachment, content = c.attachment(alice, chat) report = {"checks": [], "faults": []} @@ -149,6 +150,15 @@ print(json.dumps({"anonymous_status":anon,"unrelated_bucket_denied":denied,"back "s.pool.putconn(c); s.close(); print('{}')" ) check("schema_restore_ready_200", request("/health/ready")["status"] == 200) + for _ in range(30): + try: + c.call("GET", "/api/v1/users/me", actor=alice, schema="User") + break + except AssertionError: + time.sleep(0.5) + else: + raise AssertionError("LB did not readmit recovered API") + check("lb_readmits_recovered_api", True) Path(ROOT / "evidence/storage-checks.json").write_text( json.dumps(report, ensure_ascii=False, indent=2) + "\n" ) diff --git a/src/messenger/domain.py b/src/messenger/domain.py index 1415db7e..7d1a462a 100644 --- a/src/messenger/domain.py +++ b/src/messenger/domain.py @@ -30,10 +30,19 @@ def boundary(scope: str, cursor: str | None) -> tuple[str, str] | None: if not cursor or len(cursor) > 1024 or not re.fullmatch(r"[A-Za-z0-9_-]+", cursor): raise ValueError data = json.loads(base64.urlsafe_b64decode(cursor + "=" * (-len(cursor) % 4))) - if not isinstance(data, list) or len(data) != 4 or data[:2] != [1, scope]: + if ( + not isinstance(data, list) + or len(data) != 4 + or type(data[0]) is not int + or data[0] != 1 + or data[1] != scope + ): raise ValueError date, uid = data[2:] - if not isinstance(date, str) or not date.endswith("Z"): + if not isinstance(date, str) or not re.fullmatch( + r"[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}(?:\.[0-9]{1,6})?Z", + date, + ): raise ValueError datetime.fromisoformat(date.replace("Z", "+00:00")) if not isinstance(uid, str) or str(UUID(uid)) != uid: diff --git a/student-tests/test_attachments.py b/student-tests/test_attachments.py index 09864f40..e69d2097 100644 --- a/student-tests/test_attachments.py +++ b/student-tests/test_attachments.py @@ -1,6 +1,8 @@ """Black-box regressions derived from the contract and teacher review comments.""" +import base64 import hashlib +import json import os import struct import uuid @@ -243,3 +245,37 @@ def test_parallel_same_key_across_replicas(scenario): assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2 history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"] assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1 + + +def test_exact_pixel_boundary_is_accepted(scenario): + uploaded = upload(scenario, data=image_bytes(size=(8000, 5000)))["json"] + assert uploaded["status"] == "ready" + + +@pytest.mark.parametrize( + "version,date", + [ + (True, "2026-01-01T00:00:00Z"), + (1.0, "2026-01-01T00:00:00Z"), + (1, "2026-W01-1T00:00:00Z"), + (1, "20260101T000000Z"), + (1, "2026-01-01 00:00:00Z"), + (1, "2026-01-01X00:00:00Z"), + (1, "2026-02-30T00:00:00Z"), + (1, "2026-01-01T00:00:00.1234567Z"), + (1, "0000-01-01T00:00:00Z"), + (1, "2026-01-01T24:00:00Z"), + ], +) +def test_noncanonical_cursor_over_http(scenario, version, date): + c, alice, _, _, chat = scenario + for path, scope in [ + ("/api/v1/chats", "chats:" + alice["id"]), + (f"/api/v1/chats/{chat['id']}/messages", "messages:" + chat["id"]), + ]: + cursor = ( + base64.urlsafe_b64encode(json.dumps([version, scope, date, str(uuid.uuid4())]).encode()) + .decode() + .rstrip("=") + ) + c.call("GET", path + "?cursor=" + cursor, 400, actor=alice) diff --git a/student-tests/test_cursor_format.py b/student-tests/test_cursor_format.py new file mode 100644 index 00000000..ceb15c54 --- /dev/null +++ b/student-tests/test_cursor_format.py @@ -0,0 +1,39 @@ +import base64 +import json +from uuid import uuid4 + +import pytest + +from messenger.domain import Failure, boundary + + +@pytest.mark.parametrize( + "version,date", + [ + (True, "2026-01-01T00:00:00Z"), + (1.0, "2026-01-01T00:00:00Z"), + (1, "2026-W01-1T00:00:00Z"), + (1, "20260101T000000Z"), + (1, "2026-01-01 00:00:00Z"), + (1, "2026-01-01X00:00:00Z"), + (1, "2026-02-30T00:00:00Z"), + (1, "2026-01-01T00:00:00.1234567Z"), + ], +) +def test_boundary_rejects_python_iso_extensions(version, date): + payload = [version, "scope", date, str(uuid4())] + cursor = base64.urlsafe_b64encode(json.dumps(payload).encode()).decode().rstrip("=") + with pytest.raises(Failure) as error: + boundary("scope", cursor) + assert error.value.status == 400 + + +@pytest.mark.parametrize( + "date", ["2026-01-01T00:00:00Z", "2026-01-01T00:00:00.1Z", "2026-01-01T00:00:00.123456Z"] +) +def test_boundary_preserves_generated_format(date): + uid = str(uuid4()) + cursor = ( + base64.urlsafe_b64encode(json.dumps([1, "scope", date, uid]).encode()).decode().rstrip("=") + ) + assert boundary("scope", cursor) == (date, uid)