diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 2f9afa91..fecdae96 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -8,7 +8,14 @@ Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`. Полные команды и архитектура — [REPORT.md](../REPORT.md), [SCHEMA.md](../SCHEMA.md). -Результаты runtime-проверок собираются; этот промежуточный шаблон должен быть обновлён после выполнения HTTP/storage/cluster/clean-clone сценариев. Контракт/публичные tests сохранены. Статический check/полная OpenAPI validation/lint прошли. +Результаты: public smoke PASS; 108 HTTP tests PASS; реальные отказы двух API, +rolling/persistence PASS; private S3/IAM/bootstrap, PG/S3 faults, dry-run/apply/repeat +и 10 concurrent uploads PASS. Контролируемое исследование: 26/126/1126objects, +30rows/8HEAD/0GETbytes, 3 измерения на размер +warmup; медианы0.194/0.204/0.409s. +Raw: evidence/http-first.json, storage-first.json, cluster-first.json, +cost-controlled-first.json. Отчёт содержит SHA, методы, RAM/CPU, ограничения и +ответы защиты. Clean-clone повтор выполняется; результат будет добавлен. +Контракт и публичные tests сохранены. Ограничения: один host, LB/PG/S3 — SPOF; HEAD не заменяет periodic checksum audit; inventory reconciler O(objects+rows); удалённый CI не подтверждён. diff --git a/REPORT.md b/REPORT.md index 387d2780..0117a045 100644 --- a/REPORT.md +++ b/REPORT.md @@ -7,8 +7,8 @@ keyset pagination, общий Idempotency-Key, HAProxy и две независ Публикация и окончательные результаты будут внесены после проверок. Публичный smoke и 108 собственных HTTP-проверок прошли на полном стенде -(362.40 s). Проверки отказов/исследование и clean clone ещё выполняются; -окончательная готовность будет указана после их завершения. +(362.40 s). Проверки отказов/исследование прошли; повтор в чистом clone ещё выполняется. +Окончательная готовность будет указана после его завершения. ## Запуск из чистого clone @@ -111,9 +111,19 @@ Readiness проверяет PG и S3. При потере S3 HAProxy может | Публичный API | `make test` | PASS: upload201, Message, original SHA-256 и ACL | [http-first.json](evidence/http-first.json) | | Прежние возможности и негативные файлы | `uv run pytest student-tests -q` | 108 passed, 362.40 s; в том числе chunked >10 MiB, corrupt/MIME/pixels/filename/foreign chat | [http-first.json](evidence/http-first.json) | | Закреплённый S3 | `go mod download`, `minio --version`, inspect | module h1 verified; binary 2025-10-15/go1.24.8/arm64; 2 API, реальные CPU/RAM/ports | [minio-source-verification.json](evidence/minio-source-verification.json) | +| Failover файла | `uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json` | API загрузившая файл реально остановлена, другая вернула прежний SHA-256 | [storage-first.json](evidence/storage-first.json) | +| Ограниченные credentials/private bucket/bootstrap | Та же storage-проверка | anonymous403, forbidden operations AccessDenied, denied HEAD→503, console недоступна из сети, повтор bootstrap сохранил файл | [storage-first.json](evidence/storage-first.json) | +| Обрыв и ошибки PG/S3 | Та же storage-проверка | частичный upload2MiB без intent/bytes; INSERT failure без PUT; pending после PUT/ошибки UPDATE восстановлен; S3down→503 | [storage-first.json](evidence/storage-first.json) | +| Пределы RAM | Та же storage-проверка | 10/10 uploads и 10/10 originals; память/CPU/latencies записаны | [storage-first.json](evidence/storage-first.json) | +| Orphan/missing, dry-run/apply/repeat | Та же storage-проверка | 5 ожидаемых действий, все применены; повтор0 действий; fresh/ready/used защищены, ID/links сохранены | [storage-first.json](evidence/storage-first.json) | +| Реальные отказы/идемпотентность/rolling | `uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json` | две API остановлены по очереди; общий replay и rollback; rolling; подтверждённые сообщения без дублей | [cluster-first.json](evidence/cluster-first.json) | +| Полный restart с volumes | Та же cluster-проверка, public resilience | API/PG/cache/S3/LB изменили StartedAt, прежние token/metadata/bytes сохранены | [cluster-first.json](evidence/cluster-first.json) | +| Стоимость обхода | `uv run python -m research.cost --output evidence/cost-repeat.json` | 9 измерений +3 warmups, фиксированные 30rows/8HEAD/0GETbytes, 0/100/1100extra | [cost-controlled-first.json](evidence/cost-controlled-first.json) | -Строки storage/cluster/research/clean clone будут добавлены после выполнения -этих проверок. Source HTTP = `f5a7a74`, OCI revision API совпадает с ним. +Source первых HTTP/storage/cluster = `f5a7a74`, OCI revision API совпадает с ним. +Контролируемый cost harness — `3fd912f`, исполняемый `src/reconcile.py` тот же. +В чистом clone дополнительно проверяются module hashes/OCI revision обеих API +и полный набор сценариев; его результат будет внесён после завершения. ## Методика исследования @@ -125,11 +135,20 @@ Readiness проверяет PG и S3. При потере S3 HAProxy может через временные PG triggers, недоступность S3, abort HTTP, отсутствие используемого оригинала, old orphan и fresh orphan. Объект orphan реально стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply. -Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run -на одном стенде, без warmup, последовательно по возрастанию; учитываются -objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода, -не измерение максимальной пропускной способности S3. Dataset создаётся под -уникальным test prefix и удаляется только в своей области. +Первичный cost в storage-first.json оставлен как разведочный: между +повторами HEAD count менялся 6→10→16, когда concurrent upload rows достигли +300s. Его время нельзя приписать одному размеру inventory при прочих равных. + +Для окончательного исследования используется `research/cost.py`: +8 PNG-fixtures с metadata, намеренно состаренными в PG на 2 дня; grace 3600 s, +0/100/1100 добавочных свежих объектов по 1 byte. Остальные реальные строки +стенда учитываются; invariant фиксирует 30rows/8HEAD/0GETbytes во всех 9 cells. +Один warmup на dataset, затем 3 измеряемых dry-run, по возрастанию размера. +Каждый probe — новый контейнер **reconciler .25 CPU / 256 MiB**, не API. +Duration измеряется внутри reconcile (не включает запуск контейнера/seed), +CPU — process_time, RSS peak — Linux ru_maxrss, cgroup peak включает startup. +Временные fixtures и bytes удаляются только по собственным chat/prefix. +Это стоимость обхода, не максимальная пропускная способность S3. 10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, @@ -138,6 +157,47 @@ cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat memory.peak может включать прежние запросы, поэтому отдельно показан максимум memory.current в окне. Небольшая серия не является production SLA. +## Наблюдения и границы эксперимента + +Storage: orphan действительно старел 331.301s; часы S3 не менялись. +Dry-run нашёл по одному delete_orphan/recover_pending/fail_pending_missing/ +delete_failed_object/mark_missing. Apply выполнил их, повторный apply не +изменил ничего. Fresh orphan, fresh failed и ready без Message сохранились; +у missing used сохранены metadata ID и Message link, внешний GET→409. +Данные пропавшего original не «восстановлены» по checksum. + +10 одновременных uploads: PNG 6,017,095 bytes, 2,890,000 pixels; 10/10 успехов, +ошибок 0, оригиналы совпали. Серия 5.149 s, 1.942successful uploads/s с учётом +скачивания и sampler; upload p50=2162.965ms, p95=p99=4465.512ms. +Это одна короткая серия, p95/p99 на 10 запросах совпадают с максимумом. +Sampled cgroup memory.current max по API 123.01/155.93 MiB; memory.peak +145.66/205.13 MiB. Последнее включает предыдущую работу, поэтому это верхняя +граница для данной серии. В clean-clone повторе API специально рестартуют +перед экспериментом, чтобы peak относился к новым cgroups. + +| Дополнительные объекты | Фактически scanned | Медиана времени, s | Диапазон 3 повторов, s | +| --- | --- | --- | --- | +| 0 | 26 | 0.193719 | 0.189185–0.210146 | +| 100 | 126 | 0.204344 | 0.196670–0.210975 | +| 1100 | 1126 | 0.409094 | 0.391053–0.610401 | + +При этих условиях увеличение inventory повысило стоимость. Код хранит +inventory в dict и обходит его целиком: O(objects+rows) времени/памяти. +Три размера и три повтора не доказывают точную линейную зависимость: +есть fixed HEAD cost, pagination LIST после 1000 keys, quota scheduling и +нагрузка общего ноутбука. CPU процесса 0.0368–0.1059 s; RSS peak 58.82–59.82 MiB, +cgroup peak 41.60–43.10 MiB. RSS и cgroup учитывают общие страницы по-разному; +это разные показатели. Небольшой dataset не доказывает пригодность полного +inventory для миллионов объектов. Следующий шаг — пагинация/partitioning +и ограниченные пачки metadata; это предложение, не измеренная оптимизация. + +![Measured inventory cost and sampled API memory](evidence/storage-research-controlled.png) + +Process failover: первая API: 194 подтверждённых записи / 8 временных ошибок, +восстановление 4.086 s; вторая: 217 / 7 / 2.720 s. Rolling: 609 записей / 34 ошибки, +подтверждённые записи сохранены. Public failover: 123 записи / 3 ошибки, +восстановление 2.635 s. Это не zero-error rolling и не HA единственного host. + ## Вопросы защиты **Почему volume API не равно S3?** Volume принадлежит контейнеру/host и сам diff --git a/evidence/cost-controlled-first.json b/evidence/cost-controlled-first.json new file mode 100644 index 00000000..04c2934b --- /dev/null +++ b/evidence/cost-controlled-first.json @@ -0,0 +1,271 @@ +{ + "date": "2026-11-15T18:28:56.018046+00:00", + "source_commit": "3fd912fccb761d7010783363fa49337542ffa4e0", + "complete": true, + "cells": [ + { + "extra_objects": 0, + "repetition": 1, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 26, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 26, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.189185, + "complete": true, + "cpu_seconds": 0.039170499000000136, + "rss_peak_bytes": 61718528, + "cgroup_memory_peak_bytes": 43945984 + }, + { + "extra_objects": 0, + "repetition": 2, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 26, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 26, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.210146, + "complete": true, + "cpu_seconds": 0.05308141700000002, + "rss_peak_bytes": 61693952, + "cgroup_memory_peak_bytes": 43950080 + }, + { + "extra_objects": 0, + "repetition": 3, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 26, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 26, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.193719, + "complete": true, + "cpu_seconds": 0.036812661999999996, + "rss_peak_bytes": 61718528, + "cgroup_memory_peak_bytes": 44134400 + }, + { + "extra_objects": 100, + "repetition": 1, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.19667, + "complete": true, + "cpu_seconds": 0.03935812599999999, + "rss_peak_bytes": 62033920, + "cgroup_memory_peak_bytes": 43622400 + }, + { + "extra_objects": 100, + "repetition": 2, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.210975, + "complete": true, + "cpu_seconds": 0.05283020999999999, + "rss_peak_bytes": 61865984, + "cgroup_memory_peak_bytes": 44126208 + }, + { + "extra_objects": 100, + "repetition": 3, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.204344, + "complete": true, + "cpu_seconds": 0.05048583700000009, + "rss_peak_bytes": 61677568, + "cgroup_memory_peak_bytes": 43831296 + }, + { + "extra_objects": 1100, + "repetition": 1, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 1126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 1126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.409094, + "complete": true, + "cpu_seconds": 0.0955386250000001, + "rss_peak_bytes": 62730240, + "cgroup_memory_peak_bytes": 44974080 + }, + { + "extra_objects": 1100, + "repetition": 2, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 1126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 1126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.391053, + "complete": true, + "cpu_seconds": 0.09063437099999994, + "rss_peak_bytes": 62652416, + "cgroup_memory_peak_bytes": 45195264 + }, + { + "extra_objects": 1100, + "repetition": 3, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 1126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 1126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.610401, + "complete": true, + "cpu_seconds": 0.10586249599999986, + "rss_peak_bytes": 62672896, + "cgroup_memory_peak_bytes": 44793856 + } + ], + "warmups": [ + { + "extra_objects": 0, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 26, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 26, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.20732, + "complete": true, + "cpu_seconds": 0.05440116500000003, + "rss_peak_bytes": 61632512, + "cgroup_memory_peak_bytes": 44158976 + }, + { + "extra_objects": 100, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.198799, + "complete": true, + "cpu_seconds": 0.04178633399999998, + "rss_peak_bytes": 61964288, + "cgroup_memory_peak_bytes": 43732992 + }, + { + "extra_objects": 1100, + "apply": false, + "grace_seconds": 3600, + "objects_scanned": 1126, + "rows_scanned": 30, + "head_requests": 8, + "bytes_read": 0, + "fresh_protected": 1126, + "ready_protected": 8, + "linked_protected": 0, + "actions": {}, + "applied": {}, + "details": [], + "duration_seconds": 0.31776, + "complete": true, + "cpu_seconds": 0.08349883400000002, + "rss_peak_bytes": 62627840, + "cgroup_memory_peak_bytes": 45318144 + } + ], + "method": "0/100/1100 extra fresh one-byte objects; one warmup then 3 repeats per dataset; real reconciler service .25 CPU/256MiB; grace3600; 8 PNG fixtures with deliberately aged PG metadata (2days); other runtime objects remain real", + "fixture_rows": 8, + "grace_seconds": 3600, + "stable_rows_head_bytes": [ + 30, + 8, + 0 + ], + "median_seconds": { + "0": 0.193719, + "100": 0.204344, + "1100": 0.409094 + } +} diff --git a/evidence/storage-research-controlled.png b/evidence/storage-research-controlled.png new file mode 100644 index 00000000..7d66a464 Binary files /dev/null and b/evidence/storage-research-controlled.png differ diff --git a/research/analyze.py b/research/analyze.py index 384d9eab..a31b3b73 100644 --- a/research/analyze.py +++ b/research/analyze.py @@ -13,11 +13,15 @@ import matplotlib.pyplot as plt def main(): parser = argparse.ArgumentParser() parser.add_argument("input") + parser.add_argument("--cost-input") parser.add_argument("--output", default="evidence/storage-research.png") args = parser.parse_args() data = json.loads(Path(args.input).read_text()) assert data["complete"] series = data["cost_research"] + if args.cost_input: + series = json.loads(Path(args.cost_input).read_text()) + assert series["complete"] fig, axes = plt.subplots(1, 2, figsize=(11, 4), layout="constrained") for cell in series["cells"]: axes[0].scatter( @@ -41,6 +45,8 @@ def main(): [s["at"] for s in points], [s["memory.current"] / 2**20 for s in points], label=f"API {i + 1} cgroup current", + marker="o", + markersize=3, ) axes[1].set( xlabel="Time, seconds", diff --git a/scripts/verify_storage.py b/scripts/verify_storage.py index e3944c19..d09cab87 100644 --- a/scripts/verify_storage.py +++ b/scripts/verify_storage.py @@ -30,8 +30,10 @@ s=ObjectStore(); d=Database(url=secret('DATABASE_URL'),size=2); d.open() def inside(code): + containers = compose("ps", "-q", "api").split() + assert containers, "No running API in this project" value = command( - ["docker", "compose", "exec", "-T", "api", "python", "-"], + ["docker", "exec", "-i", containers[0], "python", "-"], input=PREFIX + code + "\ns.close(); d.close()\n", ) return json.loads(value)