diff --git a/AGENTS.md b/AGENTS.md index e4edf29c..cba8c26b 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -27,6 +27,9 @@ make scenario SCENARIO=s3-outage # S3 остановлен: upload/downl make s3-check # приватный bucket вне API, ограниченные ключи API, консоль, повторный bootstrap make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB +make reconcile ARGS="--apply" # трек 2: сверка PostgreSQL ↔ S3 (без ARGS — dry-run), one-off сервис reconciler +make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/ +make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 (чистый стенд) → evidence/reconcile/cost/ make down # остановка без удаления данных (с профилями bench, tools, reconcile); make reset-data — удаление volumes ``` @@ -61,4 +64,4 @@ make down # остановка без удаления д - **3** — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload `201 ready` после записи и `COMMIT`, побайтное скачивание вторым участником, `404` постороннему, `403` анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные `filename`; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → `503` при работающих текстах; минимум lab3 сохранён. - **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД под блокировкой строки и фоновая уборка намерений `pending` старше `UPLOAD_GRACE_SECONDS` (`SKIP LOCKED`, объект раньше строки); слоты загрузки на воркер, ограниченные буферы сокетов LB и API, фиксированный порог `mmap` glibc и замер ≥10 одновременных загрузок; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API. -- **5** — трек 2: reconciler (`dry-run`/`apply`) для orphan/missing/mismatch/stale pending, внедрение ошибок на обеих сторонах, безопасность для свежих и используемых вложений, стоимость обхода 1k/10k объектов. +- **5** — трек 2: one-off `reconciler` (`python -m messenger.attachments.entrypoints.reconcile`, по умолчанию `--dry-run`) сливает отсортированный листинг bucket и keyset-страницы `attachments` по `object_key` (O(N) по времени, O(страница) по памяти); объект без строки старше grace + skew удаляется после повторной проверки строки, готовые строки без объекта или с другими байтами уходят в карантин (миграция `0004`, `/content` → `404`) и не удаляются, `pending` старше grace удаляется (объект, затем строка), сошедшийся карантин снимается; один проход за раз (`pg_try_advisory_lock`); повторный `--apply` — 0 действий; стоимость обхода 1k/10k/30k объектов с закреплёнными CPU и отбраковкой прогонов с чужой нагрузкой (`evidence/reconcile/`). diff --git a/REPORT.md b/REPORT.md index a5945994..67c678e8 100644 --- a/REPORT.md +++ b/REPORT.md @@ -33,6 +33,9 @@ make scenario SCENARIO=s3-outage # S3 остановлен: upload/downl make s3-check # приватность bucket вне API, права ключа API, консоль, повторный bootstrap make upload-faults # уровень «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела make upload-memory # уровень «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB +make reconcile # трек 2: сверка PostgreSQL ↔ S3, по умолчанию dry-run; ARGS="--apply --deep" — исправить +make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/ +make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 на чистом стенде → evidence/reconcile/cost/ make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v @@ -111,7 +114,9 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может `UNIQUE (message_id, attachment_id)` и индексом по `attachment_id`. `messages_text_check` ослаблен до `≤ 4000`: пустой текст с вложением легален, пустой без вложений по-прежнему отсекает домен (`400`). История и повтор читают `attachment_ids` подзапросом по PK `message_attachments`, без N+1 запросов. Отсутствующий -`attachment_ids` и `[]` дают один отпечаток тела для `Idempotency-Key`, другой порядок — `409`. +`attachment_ids` и `[]` дают один отпечаток тела для `Idempotency-Key`, другой порядок — `409`. Миграция `0004` (трек 2) +аддитивно добавляет `quarantine_reason` (`missing`, `size_mismatch`, `sha_mismatch`) и `quarantined_at`, обе NULL или +обе заданы. **Upload: где применяется каждый лимит.** Тело читается потоком, FastAPI его не разбирает. @@ -168,6 +173,13 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может `status='pending'`, а `message_attachments` ссылается на них с `ON DELETE RESTRICT`. - *Незавершённый multipart* (сервер им не пользуется) удаляет lifecycle-правило bucket через сутки. +**Сверка хранилищ (трек 2).** Одноразовый сервис `reconciler` (образ API, профиль `reconcile`, ключ API S3) +сливает отсортированный листинг bucket и keyset-страницы `attachments` по `object_key` и находит то, что уборка +уровня «4» не видит: объект без строки, готовую строку без объекта или с другими байтами. По умолчанию только +отчёт; `--apply` удаляет старые объекты без строки и брошенные намерения, а готовые строки с расхождением не +удаляет, а помещает в карантин (миграция `0004`), `/content` такого вложения отвечает `404`. Подробно — раздел +трека ниже. + Платформа: откат транзакции раньше стирал все события команды, а шина не публиковала их при исключении — журнал терял удаления из компенсации и уборки. Теперь откат убирает только события своей транзакции. @@ -210,6 +222,7 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` | операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` | | сессии (кэш) | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` | `valkeydata` (AOF) | `backend` | `valkey.conf` | | bootstrap схемы | `migrate` | образ api, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` | +| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` (ключ API, не root) | | нагрузка (профиль `bench`) | `k6` | `grafana/k6:2.3.0@sha256:2dd4756e…` | нет | нет | `edge` | нет | Приватный bucket создаёт `infra/s3/init.sh`: `rc bucket create --ignore-existing`, `rc bucket anonymous set private`, @@ -219,7 +232,7 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id` привязки. Root-ключи есть только у `s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `make limits`). MinIO не выбран: `minio/minio` удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli -0.5/64m, migrate 0.5/256m, postgres 2/1g, valkey 0.5/128m. +0.5/64m, migrate 0.5/256m, reconciler 1/256m, postgres 2/1g, valkey 0.5/128m. **Соответствие `.env.example` реальной конфигурации:** @@ -238,6 +251,8 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS | | — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») | | — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») | +| — | `RECONCILE_CPUS`, `RECONCILE_MEMORY`, `RECONCILE_S3_READ_TIMEOUT_SECONDS` | 1, 256m, 10 с: лимиты сервиса сверки и таймаут чтения страницы листинга (трек 2) | +| — | `S3_CPUSET`, `PG_CPUSET`, `RECONCILE_CPUSET` | пусто — без закрепления; `make reconcile-cost` задаёт отдельные ядра на время замеров (трек 2) | | — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 | ## Доказательства критериев @@ -263,13 +278,20 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m, | **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` (слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждым прогоном) | при 3 слотах пик реплики 304 / 319 / 330 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB (простой ~120 MiB, лимит 512), все 140 загрузок `201`, `oom_kill` 0, пик LB ≤ 29 MiB; без лимита слотов те же загрузки дают 300 / 423 / 513 MiB — при 40 упор в лимит cgroup и только 43 из 80 `201`, 37 × `503`; 1 MiB при любой настройке — 187–219 MiB; с порогом `mmap` 32 MiB вместо 128 KiB — 317 / 334 / 368 MiB; таймауты: зависшее тело — `503` за 8 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/summary.txt`, `evidence/upload-memory/*.json`, `evidence/upload-memory/mmap-32m/` | | **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — `AccessDenied`; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` | | Регрессия уровня «3» и лабы 3 после изменений «4» | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по каждой реплике с `make restore`, `lab4_scenarios.py failover-upload`, `s3-outage`, `abort-upload`, `make limits`, `make test-faults` | все `PASS`; остановлены по очереди обе реплики (`Exited (0)`); S3 остановлен — upload и `/content` `503` за 1,7 с, текст `201`; 15 проверок стенда (лабы 2–3 и уровень «4») — `passed` | `evidence/regression-level4.txt` | -| Трек 2 | — | заполняется изменением трека 2 (reconciler) | — | +| **5 (трек 2)** Повторяемый reconciler: обнаружение каждого класса в dry-run | `make reconcile-demo` (внедрение `scripts/reconcile-inject.sh` на обеих сторонах, `--dry-run --deep`) | найдено ровно внедрённое: `orphan_stale` 3, `missing` 3, `size_mismatch` 3, `sha_mismatch` 3, `pending_stale` 6, свежих 2 + 2; объекты, строки и классы независимой проверки до и после dry-run те же | `evidence/reconcile/dry-run.json`, `check-before.json`, `demo.json` | +| **5** Безопасное исправление, повторный запуск | `--apply --deep` дважды | 18 исправлений = найденному (3 удалённых объекта без строки, 9 строк в карантине, 6 намерений), ошибок 0; повтор — 0 действий | `evidence/reconcile/apply-1.json`, `apply-2.json` | +| **5** Свежие и используемые вложения не удаляются, в том числе под нагрузкой | независимая проверка `scripts/reconcile_check.py --deep --expect-ready` (вне API); 75 проходов `--apply` за 75 с загрузок через LB | после `apply`: `lost_ready` 0, свежие на месте, 6 ссылок сообщений и 9 строк в карантине сохранены, метаданные `200`, `/content` `404`; под нагрузкой: 3 418 × `201`, исправлены только 10 остатков внедрения, 247 объектов идущих загрузок не тронуты, все SHA-256 совпали, `lost_ready` 0 | `evidence/reconcile/check-after.json`, `under-load.json`, `check-under-load.json` | +| **5** Карантин обратим, один проход за раз, отказ S3 | `make reconcile-demo` | возвращённый объект → `healed` 1, `/content` `200`; при занятой блокировке — `skipped`, код `0`; при остановленном `s3` — код `1` за 1,63 с, `reconcile.failed`, состояние то же | `evidence/reconcile/healed.json`, `lock-busy.json`, `s3-down.json` | +| **5** Стоимость обхода | `make reconcile-cost` (1k / 10k / 30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки) | без `--deep` 0,105 / 1,000 / 3,729 с, листингов `⌈N/1000⌉`, `HEAD`/`GET` 0, RSS 82,5–83,8 MiB; `--deep` 0,49 / 5,04 / 16,15 с; отбраковано 0 из 21 | `evidence/reconcile/cost/summary.txt`, `cost/*.json`, `cost/host-docker-stats.txt` | +| **5** Тесты сверки | `make student-test` (`test_reconciler.py`, `test_s3_storage.py`) | `342 passed`; каждый класс в dry-run без изменений, apply и повтор = 0, свежее и используемое сохранены, строка после листинга, карантин и `404`, `healed`, `--deep`, занятая блокировка, отказ листинга посреди прохода → `Unavailable`; порядок и страницы листинга RustFS | `evidence/reconcile/after-checks.txt` | +| Регрессия уровней «3» и «4» после трека 2 | стенд из чистого состояния: `make test`, `test-persistence`, `test-failover`, `restore`, `make reconcile`, `lint`, `check`, `validate`, `student-test` | все `PASS`, failover — первая запись через 2,70 с, 128 записей, 0 ошибок; dry-run после этих сценариев: 3 объекта и 3 строки, расхождений 0 | `evidence/reconcile/after-checks.txt` | ## Эксперименты и отказы Стенд: 2 реплики `api` (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи -smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB (раздел ниже). +smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB, для трека 2 — до 30 000 +синтетических вложений по 264 B и 3 418 загрузок PNG 8 × 8 (разделы ниже). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | @@ -288,6 +310,10 @@ smoke и fixture `sample.png` (111 817 B), для уровня «4» — син | 40 одновременных загрузок по 10 MiB без лимита слотов | память растёт до лимита | пик 513 MiB = лимит cgroup, 43 из 80 `201`, 37 × `503`; в предварительном прогоне ядро ещё и убило воркер (`oom_kill` 1, 7 × `502`) | воркер перезапущен gunicorn; потерь `ready` нет | | То же с 3 слотами на воркер | пик ограничен, все `201` | пик 330 MiB, LB 29 MiB, 80 × `201`, p95 4,8 с | — | | То же с 3 слотами, но до ограничения буферов сокетов (предварительный прогон) | — | HAProxy (128 MiB) убит OOM: память сокетов ≈ 110 MB, соединения оборвались | найдено замером; исправлено `tune.*buf` LB и `tcp_rmem`/`tcp_wmem` API | +| Трек 2: мусор под префикс, удалённые и перезаписанные объекты, намерения без объекта и с объектом (старше grace) | dry-run находит, `apply` чинит, повтор — 0 | так и есть: 18 найдено, 18 исправлено, повтор 0; строки `ready` не удалены, а в карантине | один проход `apply` (0,11 с); байты 9 повреждённых вложений не восстановить — второго источника нет, карантин закрывает `/content` | +| Трек 2: объект вложения в карантине вернули в bucket | карантин снят | `healed` 1, `/content` снова отдаёт исходные байты | следующий проход | +| Трек 2: сверка при остановленном S3 | код `1` за ограниченное время, ничего не меняет | код `1` за 1,63 с, `EndpointConnectionError` в журнале | повторить после возврата S3 | +| Трек 2: `--apply` подряд во время загрузок через LB | ни одно идущее или готовое вложение не удалено | 3 418 × `201`, все готовы с тем же SHA-256, `lost_ready` 0; 247 раз объект идущей загрузки выглядел объектом без строки и остался | потерь нет | ### Эксперимент уровня «4»: память при одновременных загрузках @@ -331,6 +357,141 @@ HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даё соединений между воркерами gunicorn); клиент, LB, API и RustFS делят один хост и CPU; пик cgroup включает страничный кэш и память сокетов; параллельно работали стенды других лаб. +### Трек 5 — трек 2 «Согласованность двух хранилищ (reconciler)» + +**Что сделано.** Одноразовая команда `python -m messenger.attachments.entrypoints.reconcile` — сервис `reconciler` +под профилем `reconcile` (`make reconcile ARGS=…`), по умолчанию `--dry-run`, `--apply` исправляет. Один проход +сливает два отсортированных потока: листинг `ListObjectsV2(Prefix="attachments/", MaxKeys=1000)` (S3 отдаёт ключи в +байтовом порядке) и keyset-страницы `SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT 1000` +(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок). Для каждой строки сначала +идут все объекты с меньшим ключом (объекты без строки), затем пара или её отсутствие. Время O(N), в памяти — по +странице каждой стороны. Порог «старого» — `now − grace − skew` (по умолчанию 3600 + 60 с, `grace` ≥ 60): по +`LastModified` объекта и `created_at` строки. + +| Класс | Условие | `--apply` | +| --- | --- | --- | +| `orphan_stale` / `orphan_fresh` | объект без строки старше / моложе порога | повторный `SELECT` по ключу; строки нет → `DeleteObject` / ничего | +| `missing` | `ready`, объекта нет | `HEAD`: всё ещё 404 → карантин | +| `size_mismatch` | `ready`, `Size ≠ size_bytes` | `HEAD`: размер всё ещё другой → карантин | +| `sha_mismatch` | `--deep`: SHA-256 потока ≠ `sha256` | карантин | +| `pending_stale` / `pending_fresh` | `pending` старше / моложе порога | `FOR UPDATE SKIP LOCKED`, всё ещё `pending` и старая → объект, затем строка / ничего | +| `quarantined` / `healed` | в карантине и всё ещё расходится / снова совпал | ничего / снять карантин | + +Безопасность: готовая строка и её объект не удаляются никогда — строка уходит в карантин (миграция `0004`: +`quarantine_reason`, `quarantined_at`), метаданные не меняются, `/content` отвечает `404` без запроса к S3, на строку +по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим. Каждое +действие предваряет повторная проверка той стороны, которую оно меняет (отказ — `rechecked`). Одновременно идёт один +проход: `pg_try_advisory_lock(20260004)` на отдельном соединении на всё время прохода, второй отвечает `skipped` с +кодом `0`. `--deep` читает каждый объект потоком и хеширует кусками по 64 KiB, не больше 8 в полёте. Отчёт — JSON в +stdout (классы, исправленное, `rechecked`, до 20 примеров id, запросы, время, CPU, пик RSS), журнал — в stderr без +ключей объектов и кредов; код `1` — недоступна зависимость или не выполнено действие. Ключ S3 — тот же +ограниченный ключ API (`ListBucket`, `GetObject`, `DeleteObject`), root-ключей у сервиса нет. + +**Гипотезы** (записаны в `design.md` изменения до первого прогона). H1 (корректность): слияние находит каждое +внедрённое расхождение в его классе, `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 +действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок. +H2 (стоимость): время прохода без `--deep` линейно (`t(30k)/t(10k) = 3 ± 30 %`) и определяется страницами листинга; +листингов и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS на 1k и 30k отличается меньше чем на 10 %; `--deep` на порядок +дороже на объект и линеен по объёму. + +**Методика.** + +- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния, коммит `5c3c238`, + `--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок готовых вне API + (`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта) → внедрение на обеих + сторонах (`scripts/reconcile-inject.sh`): 3 объекта без строки (`rc pipe` мусора под префикс), 3 удалённых + объекта (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными + байтами той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом + (`PUT` прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make + upload-faults`), все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения → + `--dry-run --deep` → `--apply --deep` дважды → независимая проверка с `--expect-ready` и проверки API → возврат + объекта (`healed`) → проход при занятой блокировке → проход при остановленном `s3` → 75 с загрузок через LB + (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка `--deep`. +- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд, коммит `b191623`): RustFS 2 CPU / 3 GiB на + `cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = 1 000, 10 000, 30 000 + синтетических вложений (`student-tests/tools/seed_storage.py`: 4 параллельных `PutObject` PNG 264 B и `COPY` строк + `ready`); на каждой точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей + 100. Метрики — из отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS. +- Отбраковка: до и после каждого прогона читаются `/proc/stat` всей VM Docker и `cpu.stat` cgroup `s3` и + `postgres`; чужой CPU за окно — занятость минус наше (`s3`, `postgres`, CPU процесса сверки) минус запуск + контейнера (1,5 ядро·с во всей VM, 0,5 на закреплённых ядрах — замерено на простаивающем стенде). Прогон с чужим + CPU больше 2 ядер во всей VM или 0,25 ядра на закреплённых ядрах уходит в `cost/disturbed/` и повторяется после + 15 с тишины. Снимок `docker stats --all` хоста — до и после серии (`cost/host-docker-stats.txt`). + +**Результаты H1** (`evidence/reconcile/demo.json`: 12 из 12 проверок `ok`, 248 с): + +| Проверка | Наблюдение | Файл | +| --- | --- | --- | +| dry-run находит каждый класс и ничего не меняет | найдено ровно внедрённое: `orphan_stale` 3, `missing` 3, `size_mismatch` 3, `sha_mismatch` 3, `pending_stale` 6, `orphan_fresh` 2, `pending_fresh` 2; объектов 24 и строк 27 — до и после, классы независимой проверки те же | `dry-run.json`, `check-before.json` | +| `apply` исправляет ровно найденное | 18 исправлений: 3 объекта без строки удалены, 9 строк в карантине (по 3 `missing`, `size_mismatch`, `sha_mismatch`), 6 намерений удалены (объект, затем строка); 9 `DeleteObject`, 6 `HEAD`, 19 SQL, ошибок 0 | `apply-1.json` | +| повторный `apply` | 0 действий; видны 2 + 2 свежих и 9 в карантине | `apply-2.json` | +| свежие и используемые не удалены | независимая проверка после: нарушений нет, `lost_ready` 0, свежие объект и намерение на месте; все 6 ссылок сообщений и 9 строк с расхождениями сохранены | `check-after.json`, `demo.json` | +| карантин виден через API | метаданные вложения в сообщении с удалённым объектом — `200`, `/content` вложения с испорченными байтами — `404`, нетронутое вложение из того же сообщения скачивается побайтно | `demo.json` | +| возврат объекта | объект вернули теми же байтами → `healed` 1, карантин снят, `/content` `200` с исходными байтами | `healed.json` | +| один проход | пока другой сеанс держит `pg_advisory_lock(20260004)`: `skipped`, код `0`, 0 запросов | `lock-busy.json` | +| S3 остановлен | код `1` за 1,63 с, журнал `reconcile.failed error=EndpointConnectionError`, stdout пуст, объекты, строки и классы те же | `s3-down.json` | +| сверка во время загрузок | 75 проходов `--apply` за 75 с, 3 418 загрузок — все `201`; исправлены только 10 остатков внедрения (5 объектов без строки, 5 намерений), ошибок 0, `skipped` 0; объект идущей загрузки 247 раз попадал в проход без строки и 82 раза — свежим намерением, ни один не тронут; после нагрузки 3 429 готовых, у всех SHA-256 совпадает, `lost_ready` 0 | `under-load.json`, `check-under-load.json` | + +Кроме стенда, `make student-test` (`test_reconciler.py`) проверяет то же против одноразового PostgreSQL, включая +строку, появившуюся между листингом и удалением (объект остаётся, `rechecked`), и отказ листинга посреди прохода +`--deep` (проход завершается `Unavailable`; тест нашёл, что раньше ошибка выходила группой исключений `TaskGroup` и +печаталась трассировкой вместо `reconcile.failed`, исправлено в `3b3cb5b`); `test_s3_storage.py` — байтовый порядок и +страницы листинга RustFS. + +**Результаты H2** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не +больше 0,2 ядра в VM и 0,01 на закреплённых ядрах; разброс повторов ≤ 5 %): + +| N | Режим | Проход, с | мкс на объект | Листинг, с | SQL, с | Листингов / SQL / `GET` | CPU сверки, с | Пик RSS, MiB | +| ---: | --- | ---: | ---: | ---: | ---: | --- | ---: | ---: | +| 1 000 | без `--deep` | 0,105 | 105 | 0,090 | 0,008 | 1 / 2 / 0 | 0,47 | 82,5 | +| 10 000 | без `--deep` | 1,000 | 100 | 0,946 | 0,043 | 10 / 11 / 0 | 0,73 | 83,6 | +| 30 000 | без `--deep` | 3,729 | 124 | 3,562 | 0,145 | 30 / 31 / 0 | 1,36 | 83,8 | +| 10 000 | страница 100 | 2,058 | 206 | 1,943 | 0,078 | 100 / 101 / 0 | 0,80 | 81,0 | +| 1 000 | `--deep` | 0,493 | 493 | 0,091 | 0,009 | 1 / 2 / 1 000 | 0,86 | 83,0 | +| 10 000 | `--deep` | 5,041 | 504 | 1,018 | 0,045 | 10 / 11 / 10 000 | 4,72 | 84,1 | +| 30 000 | `--deep` | 16,150 | 538 | 3,597 | 0,133 | 30 / 31 / 30 000 | 13,68 | 84,1 | + +`HEAD` и удалений на согласованных данных — 0 во всех прогонах. Время `docker compose run` на 0,8–0,9 с больше прохода +(старт контейнера и интерпретатора; CPU процесса без работы — 0,44 с, `lock-busy.json`). Первая серия 29.10 +(`cost-2026-10-29/`, `5ca2cdc`, без отбраковки, на хосте шёл k6 другой лабы): без `--deep` 0,096 / 1,086 / 3,317 с, +`--deep` на 30k — 15,9 с. + +**Выводы.** + +- H1 **подтверждена.** Каждый внедрённый класс найден в своём классе, dry-run ничего не меняет, `apply` исправил + ровно найденное, повтор — 0 действий, независимая проверка вне API (другие инструменты и root-ключ) не нашла ни + нарушений, ни потерь. Под непрерывной загрузкой 75 проходов подряд не тронули ни одного вложения: идущая загрузка + выглядит для прохода «объектом без строки» (листинг увидел объект раньше, чем страница строк — строку) сотни раз, + и от удаления её спасают оба барьера — порог grace и повторная проверка строки. +- H2 **подтверждена в части стоимости обхода, опровергнута в части `--deep`.** Без `--deep` время растёт линейно: + `t(10k)/t(1k)` = 9,5, `t(30k)/t(10k)` = 3,73 (в пределах 3 ± 30 %, у верхней границы; в серии 29.10 — 3,05); запросов + листинга `⌈N/1000⌉`, SQL на один больше — keyset дочитывает пустую последнюю страницу; пик RSS 82,5 → 83,8 MiB + (+1,6 %) — память от N не зависит. 95 % прохода — ожидание листинга RustFS, а не код сверки (CPU сверки сверх + старта ≈ 30 мкс на объект, SQL — 4–5 мс на страницу). Цена листинга — около 83 мкс на ключ плюс 11 мс на запрос + (страница 100 вдвое дороже страницы 1000 при вдесятеро большем числе запросов), и на ключ она растёт с размером + префикса: 90 / 95 / 119 мс на страницу при 1k / 10k / 30k — свойство RustFS 1.0.4 (та же картина у его записи, + `cost-aborted/NOTE.txt`). `--deep` дороже не на порядок, а в 4,3–5 раз (493–538 мкс на объект) и линеен: + `t(30k)/t(10k)` = 3,20. Его упор — CPU однопоточного процесса сверки (13,7 с CPU за 16,2 с при лимите 1 CPU): + на мелких объектах время уходит на запрос `GetObject` в aiobotocore, а не на хеширование (8 МБ за проход). +- Практически: проход без `--deep` по 30k вложений — 3,7 с и 84 MiB, т. е. около 2 мин на миллион объектов при той же + цене листинга (на практике больше — листинг RustFS дорожает с префиксом); его можно запускать часто, `--deep` — + реже или выборочно. Независимая проверка через `rc` хеширует 3 429 объектов за 68,5 с (20 мс на объект) — в 40 раз + медленнее `--deep` сверки: она годится как оракул, но не как механизм. + +**Ограничения трека.** Верхняя точка матрицы — 30k, а не 100k: наполнить RustFS 1.0.4 до 100k объектов под одним +префиксом за разумное время не удалось дважды (запись дорожает с ~8 до ~32 мс с ростом префикса, +`cost-aborted/NOTE.txt`), поэтому линейность проверена на разбросе в 30 раз, а поведение на 100k+ — экстраполяция. +Объекты матрицы мелкие (264 B): `--deep` на реальных вложениях (до 10 MiB) упрётся в объём, а не в число запросов, +это не замерялось. Один хост и одна VM: S3, PostgreSQL и сверка разведены по vCPU, но не по физическим ядрам (у M4 +Max ядра двух типов), загрузку самого macOS отбраковка видит только как loadavg (1,9–2,8 за серию). Отбраковка ловит +чужой CPU сверх 2 ядер в VM и 0,25 ядра на закреплённых ядрах, меньший остаётся шумом; задержки диска VM она не +видит. В этой серии соседей почти не было (стенд lab6 и проверка другого проекта, ≤ 0,2 ядра), серия 29.10 шла рядом с +k6 другой лабы и без отбраковки — её 30k на 11 % быстрее, что даёт оценку разброса между днями. Расхождение часов +S3 и сверки не моделировалось (один хост, `--skew 0` в сценарии, 60 с по умолчанию). Сценарий использует `--grace 60` +вместо 3600 по умолчанию, чтобы уложиться в минуты; при боевом grace свежими были бы все объекты моложе часа. Сверка +не следит за объектами вне префикса `attachments/` и за незавершёнными multipart (их убирает lifecycle-правило +bucket через сутки), запускается вручную (`make reconcile`), а не по расписанию. + ## Ограничения и следующие шаги - Один Docker-host: RustFS работает одним узлом без parity, S3 и PostgreSQL — единственные точки отказа; это не HA. @@ -351,5 +512,8 @@ HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даё потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи. - Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные тесты проверяют `413` через `Content-Length`. -- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4». Гипотеза до трека 2: стоимость сверки - хранилищ растёт линейно с числом объектов. +- Сверка хранилищ (трек 2) запускается вручную и не восстанавливает байты: у повреждённого вложения нет второго + источника, оно остаётся в карантине до ручного возврата объекта. Стоимость обхода измерена до 30k объектов, дальше — + экстраполяция; ограничения замеров — в разделе трека. +- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4» и трек 2 (H1 подтверждена, H2 — в части + линейной стоимости обхода и постоянной памяти; `--deep` оказался дороже в 4–5 раз, а не на порядок). diff --git a/evidence/reconcile/README.md b/evidence/reconcile/README.md new file mode 100644 index 00000000..68106f9d --- /dev/null +++ b/evidence/reconcile/README.md @@ -0,0 +1,34 @@ +# Трек 2 «Согласованность двух хранилищ»: сырые данные + +Отчёты сверки — stdout `python -m messenger.attachments.entrypoints.reconcile` (поля описаны в +`openspec/specs/lab4-storage-reconciler/spec.md`) плюс `exit_code` и `wall_seconds` (время `docker compose run` +вместе со стартом контейнера). Независимая проверка — `scripts/reconcile_check.py`: листинг bucket через `rc` +под root-ключом, строки через `psql`, SHA-256 каждого объекта через `rc object show | sha256sum`, без кода API. +Время в JSON — UTC. + +| Файл | Что внутри | Чем получен | +| --- | --- | --- | +| `demo.json` | итог сценария: коммит, внедрённые ключи и id по классам, 12 проверок с деталями, `ok` | `make reconcile-demo` | +| `ready-before.json`, `ready-untouched.json` | id → SHA-256 готовых вложений до внедрения; то же без повреждаемых — ожидаемый набор после `apply` | `reconcile_check.py --save-ready` | +| `check-before.json`, `check-after.json` | независимая проверка (`--deep`) после внедрения и после двух `apply` | `reconcile_check.py` | +| `dry-run.json`, `apply-1.json`, `apply-2.json` | `--dry-run --deep`, затем `--apply --deep` дважды, `--grace 60 --skew 0` | сервис `reconciler` | +| `healed.json` | `--apply` после возврата объекта вложения в карантине `missing` | сервис `reconciler` | +| `lock-busy.json` | проход, пока `pg_advisory_lock(20260004)` держит другой сеанс: `skipped` | сервис `reconciler` | +| `s3-down.json` | проход при остановленном `s3`: код, время, stdout, строки журнала `reconcile.*` | сервис `reconciler` | +| `ready-load.json` | id → SHA-256 всех вложений, которые должны пережить нагрузку: готовые до неё и каждое `201` под ней | `reconcile_track.py` | +| `under-load.json`, `check-under-load.json` | 75 с загрузок через LB (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд: ответы, время проходов, исправленное, увиденное свежим; проверка `--deep --expect-ready` после | `reconcile_track.py` | +| `cost/n-<режим>-<повтор>.json` | отчёт прохода `--dry-run` на N объектах и строках; режимы `shallow` (страница 1000), `deep` (`--deep`), `page100` (страница 100); `screen` — чужая нагрузка CPU за окно прогона | `make reconcile-cost` | +| `cost/disturbed/*.json` | отбракованные прогоны (чужого CPU больше 2 ядер во всей VM или 0,25 на закреплённых ядрах сверх запуска контейнера); каждый повторён после 15 с тишины | `make reconcile-cost` | +| `cost/summary.json`, `cost/summary.txt` | медианы трёх прогонов на точку, запросы, RSS, CPU, наибольшая чужая нагрузка, число отбракованных; закрепление CPU и лимиты `s3`/`postgres`; время наполнения | `make reconcile-cost` | +| `cost/host-docker-stats.txt` | `docker stats --all` и `docker ps` всего хоста до и после серии, loadavg macOS | `make reconcile-cost` | +| `cost-2026-10-29/` | первая полная серия той же матрицы (`5ca2cdc`, 29.10): без отбраковки и без `cpu_seconds`, рядом шёл k6 другой лабы; для сравнения между днями, `NOTE.txt` | `make reconcile-cost` на `5ca2cdc` | +| `after-checks.txt` | после трека на стенде из чистого состояния: `make test`, `test-persistence`, `test-failover`, `restore`, `reconcile`, `lint`, `check`, `validate`, `student-test` | команды внутри файла | +| `cost-aborted/` | две прерванные попытки наполнить RustFS до 100k объектов и их точки 1k/10k; диагноз — `NOTE.txt` | `make reconcile-cost` до `5ca2cdc` | + +Поля `screen`: `window_seconds` — окно между двумя чтениями счётчиков VM (`/proc/uptime`), `ours_cores` — CPU +`s3`, `postgres` и процесса сверки за окно, `other_cores` и `other_on_pinned_cores` — чужой CPU во всей VM и на +ядрах `s3`/`postgres`/`reconciler` сверх запуска контейнера (1,5 и 0,5 ядро·с), в ядрах, `disturbed` — прогон +отбракован. Итоговая серия снята на `b191623`: её `summary.json` записывает пороги, но не запас на запуск +контейнера и число повторов — это значения по умолчанию сценария этого коммита (1,5 и 0,5 ядро·с, 3 повтора); +начиная с `8cb5a66` они пишутся в `summary.json`. Объём данных в матрице — синтетические вложения +`student-tests/tools/seed_storage.py` (PNG 8 × 8, 264 B, строки `ready` двухчасовой давности). diff --git a/evidence/reconcile/after-checks.txt b/evidence/reconcile/after-checks.txt new file mode 100644 index 00000000..9074e74e --- /dev/null +++ b/evidence/reconcile/after-checks.txt @@ -0,0 +1,150 @@ +date: 2026-10-30T04:08:39Z commit: 8cb5a66 стенд из чистого состояния: make reset-data && make up + +$ make test +python3 tests/smoke.py --base-url "http://127.0.0.1:18084" +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +exit=0 + +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:18084" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18084" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 2.704} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 + +$ make restore +scripts/restore.sh + Container mtusi2026lab4-api-1 Running + Container mtusi2026lab4-api-2 Starting + Container mtusi2026lab4-api-2 Started + Container mtusi2026lab4-api-1 Waiting + Container mtusi2026lab4-api-2 Waiting + Container mtusi2026lab4-api-1 Healthy + Container mtusi2026lab4-api-2 Healthy +exit=0 + +$ make reconcile +docker compose run --rm --no-deps reconciler +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 3, + "rows": 3 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.019, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 1 + }, + "waited_seconds": { + "s3_list": 0.01, + "sql": 0.003 + }, + "hashed_bytes": 0, + "cpu_seconds": 0.455, + "max_rss_mib": 80.3 + } +} +exit=0 + +$ make lint +.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py +All checks passed! +.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py +143 files already formatted +.venv/bin/ty check src student-tests +All checks passed! +exit=0 + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +exit=0 + +$ make validate +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +exit=0 + +$ make student-test +.venv/bin/pytest +============================= test session starts ============================== +platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 +rootdir: +configfile: pyproject.toml +testpaths: student-tests +plugins: asyncio-1.4.0, anyio-4.15.1 +asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function +collected 359 items / 17 deselected / 342 selected + +student-tests/adapters/test_s3_storage.py ... [ 0%] +student-tests/api/test_access.py ......... [ 3%] +student-tests/api/test_attachments.py .................................. [ 13%] +... [ 14%] +student-tests/api/test_bounded_contexts.py .................. [ 19%] +student-tests/api/test_cache.py ...... [ 21%] +student-tests/api/test_concurrency.py .... [ 22%] +student-tests/api/test_consistency.py ........ [ 24%] +student-tests/api/test_drain.py .. [ 25%] +student-tests/api/test_events.py ...... [ 27%] +student-tests/api/test_idempotency.py ............... [ 31%] +student-tests/api/test_instance.py .... [ 32%] +student-tests/api/test_message_attachments.py ........... [ 35%] +student-tests/api/test_migrations.py ....... [ 38%] +student-tests/api/test_negative.py ..................................... [ 48%] + [ 48%] +student-tests/api/test_operability.py .............. [ 52%] +student-tests/api/test_pagination.py .................. [ 58%] +student-tests/api/test_pool.py .. [ 58%] +student-tests/api/test_reconciler.py ...... [ 60%] +student-tests/api/test_sessions.py .................. [ 65%] +student-tests/api/test_timeout.py ...... [ 67%] +student-tests/api/test_upload_consistency.py ......... [ 70%] +student-tests/api/test_wire_format.py .. [ 70%] +student-tests/unit/test_attachments_domain.py .......................... [ 78%] +. [ 78%] +student-tests/unit/test_authentication.py ..................... [ 84%] +student-tests/unit/test_cursor.py ........... [ 88%] +student-tests/unit/test_domain.py ...................................... [ 99%] +.. [ 99%] +student-tests/unit/test_timeouts.py . [100%] + +===================== 342 passed, 17 deselected in 38.62s ====================== +exit=0 diff --git a/openspec/changes/add-lab4-storage-reconciler/tasks.md b/openspec/changes/add-lab4-storage-reconciler/tasks.md index 1614f33d..a952b93b 100644 --- a/openspec/changes/add-lab4-storage-reconciler/tasks.md +++ b/openspec/changes/add-lab4-storage-reconciler/tasks.md @@ -38,9 +38,9 @@ - [x] 6.1 `make reconcile-demo` на чистом стенде → `evidence/reconcile/` - [x] 6.2 `make reconcile-cost` на чистом стенде → `evidence/reconcile/cost/` -- [ ] 6.3 Проверка группы: критерии H1 и H2 из `design.md` +- [x] 6.3 Проверка группы: критерии H1 и H2 из `design.md` ## 7. Отчёт -- [ ] 7.1 `REPORT.md`: раздел трека 2 (гипотеза, методика, результаты, ограничения, выводы), строки трека в таблице доказательств и отказов; `AGENTS.md` -- [ ] 7.2 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` +- [x] 7.1 `REPORT.md`: раздел трека 2 (гипотеза, методика, результаты, ограничения, выводы), строки трека в таблице доказательств и отказов; `AGENTS.md` +- [x] 7.2 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` diff --git a/openspec/config.yaml b/openspec/config.yaml index d12fecf5..a011f815 100644 --- a/openspec/config.yaml +++ b/openspec/config.yaml @@ -46,7 +46,8 @@ context: | volume), `valkey` (8.x-alpine по digest, AOF), `s3` (RustFS 1.0.4 по digest, volume `s3data`, без опубликованных портов, консоль выключена, non-root, read-only), одноразовый `s3-init` (`rc` по digest: bucket, anonymous private, политика и пользователь API), `s3-cli` под профилем - `tools` для проверок, `k6` под профилем `bench`. Сети `edge` и `backend` (internal). Секреты — + `tools` для проверок, `k6` под профилем `bench`, одноразовый `reconciler` (образ API, сверка + PostgreSQL ↔ S3) под профилем `reconcile`. Сети `edge` и `backend` (internal). Секреты — compose secrets из gitignored `secrets/`, приложение читает их через `*_FILE`; root-ключи S3 получают только `s3`, `s3-init` и `s3-cli`.