forked from mtusi2026/mtusi2026lab4
Report track 2 and check levels 3 and 4 after it
REPORT.md gets the track 2 section: what the reconciler does and why it is safe, the hypotheses written before the first run, the method of the demo and the cost matrix with its screening, both result tables, the verdicts and the limits. H1 holds. H2 holds for the pass cost: time is linear (t(30k)/t(10k) = 3.73, 3.05 in the series of 29.10), the listing is 95 % of it, list requests are ceil(N/1000) and SQL one more for the empty last keyset page, RSS stays at 82.5-83.8 MiB; --deep is 4.3-5 times dearer per object, not ten. The criteria table, the failure table, the limits, AGENTS.md and the openspec context name the track rows, and evidence/reconcile/README.md describes every file. On a stand from a clean state make test, test-persistence, test-failover, restore, reconcile, lint, check, validate and student-test (342 passed) all pass; the dry-run after these scenarios finds 3 objects, 3 rows and no discrepancy. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
8cb5a664c6
commit
58cae16ef8
@@ -27,6 +27,9 @@ make scenario SCENARIO=s3-outage # S3 остановлен: upload/downl
|
||||
make s3-check # приватный bucket вне API, ограниченные ключи API, консоль, повторный bootstrap
|
||||
make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела
|
||||
make upload-memory # «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB
|
||||
make reconcile ARGS="--apply" # трек 2: сверка PostgreSQL ↔ S3 (без ARGS — dry-run), one-off сервис reconciler
|
||||
make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/
|
||||
make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 (чистый стенд) → evidence/reconcile/cost/
|
||||
make down # остановка без удаления данных (с профилями bench, tools, reconcile); make reset-data — удаление volumes
|
||||
```
|
||||
|
||||
@@ -61,4 +64,4 @@ make down # остановка без удаления д
|
||||
|
||||
- **3** — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload `201 ready` после записи и `COMMIT`, побайтное скачивание вторым участником, `404` постороннему, `403` анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные `filename`; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → `503` при работающих текстах; минимум lab3 сохранён.
|
||||
- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД под блокировкой строки и фоновая уборка намерений `pending` старше `UPLOAD_GRACE_SECONDS` (`SKIP LOCKED`, объект раньше строки); слоты загрузки на воркер, ограниченные буферы сокетов LB и API, фиксированный порог `mmap` glibc и замер ≥10 одновременных загрузок; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API.
|
||||
- **5** — трек 2: reconciler (`dry-run`/`apply`) для orphan/missing/mismatch/stale pending, внедрение ошибок на обеих сторонах, безопасность для свежих и используемых вложений, стоимость обхода 1k/10k объектов.
|
||||
- **5** — трек 2: one-off `reconciler` (`python -m messenger.attachments.entrypoints.reconcile`, по умолчанию `--dry-run`) сливает отсортированный листинг bucket и keyset-страницы `attachments` по `object_key` (O(N) по времени, O(страница) по памяти); объект без строки старше grace + skew удаляется после повторной проверки строки, готовые строки без объекта или с другими байтами уходят в карантин (миграция `0004`, `/content` → `404`) и не удаляются, `pending` старше grace удаляется (объект, затем строка), сошедшийся карантин снимается; один проход за раз (`pg_try_advisory_lock`); повторный `--apply` — 0 действий; стоимость обхода 1k/10k/30k объектов с закреплёнными CPU и отбраковкой прогонов с чужой нагрузкой (`evidence/reconcile/`).
|
||||
|
||||
@@ -33,6 +33,9 @@ make scenario SCENARIO=s3-outage # S3 остановлен: upload/downl
|
||||
make s3-check # приватность bucket вне API, права ключа API, консоль, повторный bootstrap
|
||||
make upload-faults # уровень «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела
|
||||
make upload-memory # уровень «4»: пик памяти реплик и LB при 10/20/40 одновременных загрузках 1 и 10 MiB
|
||||
make reconcile # трек 2: сверка PostgreSQL ↔ S3, по умолчанию dry-run; ARGS="--apply --deep" — исправить
|
||||
make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/
|
||||
make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k × 3 на чистом стенде → evidence/reconcile/cost/
|
||||
|
||||
make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются
|
||||
make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v
|
||||
@@ -111,7 +114,9 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может
|
||||
`UNIQUE (message_id, attachment_id)` и индексом по `attachment_id`. `messages_text_check` ослаблен до `≤ 4000`:
|
||||
пустой текст с вложением легален, пустой без вложений по-прежнему отсекает домен (`400`). История и повтор
|
||||
читают `attachment_ids` подзапросом по PK `message_attachments`, без N+1 запросов. Отсутствующий
|
||||
`attachment_ids` и `[]` дают один отпечаток тела для `Idempotency-Key`, другой порядок — `409`.
|
||||
`attachment_ids` и `[]` дают один отпечаток тела для `Idempotency-Key`, другой порядок — `409`. Миграция `0004` (трек 2)
|
||||
аддитивно добавляет `quarantine_reason` (`missing`, `size_mismatch`, `sha_mismatch`) и `quarantined_at`, обе NULL или
|
||||
обе заданы.
|
||||
|
||||
**Upload: где применяется каждый лимит.** Тело читается потоком, FastAPI его не разбирает.
|
||||
|
||||
@@ -168,6 +173,13 @@ attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может
|
||||
`status='pending'`, а `message_attachments` ссылается на них с `ON DELETE RESTRICT`.
|
||||
- *Незавершённый multipart* (сервер им не пользуется) удаляет lifecycle-правило bucket через сутки.
|
||||
|
||||
**Сверка хранилищ (трек 2).** Одноразовый сервис `reconciler` (образ API, профиль `reconcile`, ключ API S3)
|
||||
сливает отсортированный листинг bucket и keyset-страницы `attachments` по `object_key` и находит то, что уборка
|
||||
уровня «4» не видит: объект без строки, готовую строку без объекта или с другими байтами. По умолчанию только
|
||||
отчёт; `--apply` удаляет старые объекты без строки и брошенные намерения, а готовые строки с расхождением не
|
||||
удаляет, а помещает в карантин (миграция `0004`), `/content` такого вложения отвечает `404`. Подробно — раздел
|
||||
трека ниже.
|
||||
|
||||
Платформа: откат транзакции раньше стирал все события команды, а шина не публиковала их при исключении — журнал
|
||||
терял удаления из компенсации и уборки. Теперь откат убирает только события своей транзакции.
|
||||
|
||||
@@ -210,6 +222,7 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`
|
||||
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` |
|
||||
| сессии (кэш) | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` | `valkeydata` (AOF) | `backend` | `valkey.conf` |
|
||||
| bootstrap схемы | `migrate` | образ api, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` |
|
||||
| сверка PostgreSQL ↔ S3 (профиль `reconcile`) | `reconciler` | образ api, `read_only`, `entrypoint` — модуль сверки | код выхода 0 / 1 | нет | `backend` | `database_url`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` (ключ API, не root) |
|
||||
| нагрузка (профиль `bench`) | `k6` | `grafana/k6:2.3.0@sha256:2dd4756e…` | нет | нет | `edge` | нет |
|
||||
|
||||
Приватный bucket создаёт `infra/s3/init.sh`: `rc bucket create --ignore-existing`, `rc bucket anonymous set private`,
|
||||
@@ -219,7 +232,7 @@ no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`
|
||||
привязки. Root-ключи есть только у `s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `make limits`).
|
||||
MinIO не выбран: `minio/minio` удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от
|
||||
root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli
|
||||
0.5/64m, migrate 0.5/256m, postgres 2/1g, valkey 0.5/128m.
|
||||
0.5/64m, migrate 0.5/256m, reconciler 1/256m, postgres 2/1g, valkey 0.5/128m.
|
||||
|
||||
**Соответствие `.env.example` реальной конфигурации:**
|
||||
|
||||
@@ -238,6 +251,8 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
|
||||
| — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS |
|
||||
| — | `UPLOAD_CONCURRENCY`, `UPLOAD_GRACE_SECONDS`, `UPLOAD_SWEEP_INTERVAL_SECONDS`, `UPLOAD_SWEEP_BATCH` | 3 тела на воркер; 900 с; 30 с; 100 строк за проход (уровень «4») |
|
||||
| — | `MALLOC_MMAP_THRESHOLD_` | 131 072: тела больше 128 KiB возвращаются системе при освобождении (уровень «4») |
|
||||
| — | `RECONCILE_CPUS`, `RECONCILE_MEMORY`, `RECONCILE_S3_READ_TIMEOUT_SECONDS` | 1, 256m, 10 с: лимиты сервиса сверки и таймаут чтения страницы листинга (трек 2) |
|
||||
| — | `S3_CPUSET`, `PG_CPUSET`, `RECONCILE_CPUSET` | пусто — без закрепления; `make reconcile-cost` задаёт отдельные ядра на время замеров (трек 2) |
|
||||
| — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 |
|
||||
|
||||
## Доказательства критериев
|
||||
@@ -263,13 +278,20 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
|
||||
| **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` (слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждым прогоном) | при 3 слотах пик реплики 304 / 319 / 330 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB (простой ~120 MiB, лимит 512), все 140 загрузок `201`, `oom_kill` 0, пик LB ≤ 29 MiB; без лимита слотов те же загрузки дают 300 / 423 / 513 MiB — при 40 упор в лимит cgroup и только 43 из 80 `201`, 37 × `503`; 1 MiB при любой настройке — 187–219 MiB; с порогом `mmap` 32 MiB вместо 128 KiB — 317 / 334 / 368 MiB; таймауты: зависшее тело — `503` за 8 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/summary.txt`, `evidence/upload-memory/*.json`, `evidence/upload-memory/mmap-32m/` |
|
||||
| **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у `s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — `AccessDenied`; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` |
|
||||
| Регрессия уровня «3» и лабы 3 после изменений «4» | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по каждой реплике с `make restore`, `lab4_scenarios.py failover-upload`, `s3-outage`, `abort-upload`, `make limits`, `make test-faults` | все `PASS`; остановлены по очереди обе реплики (`Exited (0)`); S3 остановлен — upload и `/content` `503` за 1,7 с, текст `201`; 15 проверок стенда (лабы 2–3 и уровень «4») — `passed` | `evidence/regression-level4.txt` |
|
||||
| Трек 2 | — | заполняется изменением трека 2 (reconciler) | — |
|
||||
| **5 (трек 2)** Повторяемый reconciler: обнаружение каждого класса в dry-run | `make reconcile-demo` (внедрение `scripts/reconcile-inject.sh` на обеих сторонах, `--dry-run --deep`) | найдено ровно внедрённое: `orphan_stale` 3, `missing` 3, `size_mismatch` 3, `sha_mismatch` 3, `pending_stale` 6, свежих 2 + 2; объекты, строки и классы независимой проверки до и после dry-run те же | `evidence/reconcile/dry-run.json`, `check-before.json`, `demo.json` |
|
||||
| **5** Безопасное исправление, повторный запуск | `--apply --deep` дважды | 18 исправлений = найденному (3 удалённых объекта без строки, 9 строк в карантине, 6 намерений), ошибок 0; повтор — 0 действий | `evidence/reconcile/apply-1.json`, `apply-2.json` |
|
||||
| **5** Свежие и используемые вложения не удаляются, в том числе под нагрузкой | независимая проверка `scripts/reconcile_check.py --deep --expect-ready` (вне API); 75 проходов `--apply` за 75 с загрузок через LB | после `apply`: `lost_ready` 0, свежие на месте, 6 ссылок сообщений и 9 строк в карантине сохранены, метаданные `200`, `/content` `404`; под нагрузкой: 3 418 × `201`, исправлены только 10 остатков внедрения, 247 объектов идущих загрузок не тронуты, все SHA-256 совпали, `lost_ready` 0 | `evidence/reconcile/check-after.json`, `under-load.json`, `check-under-load.json` |
|
||||
| **5** Карантин обратим, один проход за раз, отказ S3 | `make reconcile-demo` | возвращённый объект → `healed` 1, `/content` `200`; при занятой блокировке — `skipped`, код `0`; при остановленном `s3` — код `1` за 1,63 с, `reconcile.failed`, состояние то же | `evidence/reconcile/healed.json`, `lock-busy.json`, `s3-down.json` |
|
||||
| **5** Стоимость обхода | `make reconcile-cost` (1k / 10k / 30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки) | без `--deep` 0,105 / 1,000 / 3,729 с, листингов `⌈N/1000⌉`, `HEAD`/`GET` 0, RSS 82,5–83,8 MiB; `--deep` 0,49 / 5,04 / 16,15 с; отбраковано 0 из 21 | `evidence/reconcile/cost/summary.txt`, `cost/*.json`, `cost/host-docker-stats.txt` |
|
||||
| **5** Тесты сверки | `make student-test` (`test_reconciler.py`, `test_s3_storage.py`) | `342 passed`; каждый класс в dry-run без изменений, apply и повтор = 0, свежее и используемое сохранены, строка после листинга, карантин и `404`, `healed`, `--deep`, занятая блокировка, отказ листинга посреди прохода → `Unavailable`; порядок и страницы листинга RustFS | `evidence/reconcile/after-checks.txt` |
|
||||
| Регрессия уровней «3» и «4» после трека 2 | стенд из чистого состояния: `make test`, `test-persistence`, `test-failover`, `restore`, `make reconcile`, `lint`, `check`, `validate`, `student-test` | все `PASS`, failover — первая запись через 2,70 с, 128 записей, 0 ошибок; dry-run после этих сценариев: 3 объекта и 3 строки, расхождений 0 | `evidence/reconcile/after-checks.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
Стенд: 2 реплики `api` (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker
|
||||
Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи
|
||||
smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB (раздел ниже).
|
||||
smoke и fixture `sample.png` (111 817 B), для уровня «4» — синтетические PNG 1 и 10 MiB, для трека 2 — до 30 000
|
||||
синтетических вложений по 264 B и 3 418 загрузок PNG 8 × 8 (разделы ниже).
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -288,6 +310,10 @@ smoke и fixture `sample.png` (111 817 B), для уровня «4» — син
|
||||
| 40 одновременных загрузок по 10 MiB без лимита слотов | память растёт до лимита | пик 513 MiB = лимит cgroup, 43 из 80 `201`, 37 × `503`; в предварительном прогоне ядро ещё и убило воркер (`oom_kill` 1, 7 × `502`) | воркер перезапущен gunicorn; потерь `ready` нет |
|
||||
| То же с 3 слотами на воркер | пик ограничен, все `201` | пик 330 MiB, LB 29 MiB, 80 × `201`, p95 4,8 с | — |
|
||||
| То же с 3 слотами, но до ограничения буферов сокетов (предварительный прогон) | — | HAProxy (128 MiB) убит OOM: память сокетов ≈ 110 MB, соединения оборвались | найдено замером; исправлено `tune.*buf` LB и `tcp_rmem`/`tcp_wmem` API |
|
||||
| Трек 2: мусор под префикс, удалённые и перезаписанные объекты, намерения без объекта и с объектом (старше grace) | dry-run находит, `apply` чинит, повтор — 0 | так и есть: 18 найдено, 18 исправлено, повтор 0; строки `ready` не удалены, а в карантине | один проход `apply` (0,11 с); байты 9 повреждённых вложений не восстановить — второго источника нет, карантин закрывает `/content` |
|
||||
| Трек 2: объект вложения в карантине вернули в bucket | карантин снят | `healed` 1, `/content` снова отдаёт исходные байты | следующий проход |
|
||||
| Трек 2: сверка при остановленном S3 | код `1` за ограниченное время, ничего не меняет | код `1` за 1,63 с, `EndpointConnectionError` в журнале | повторить после возврата S3 |
|
||||
| Трек 2: `--apply` подряд во время загрузок через LB | ни одно идущее или готовое вложение не удалено | 3 418 × `201`, все готовы с тем же SHA-256, `lost_ready` 0; 247 раз объект идущей загрузки выглядел объектом без строки и остался | потерь нет |
|
||||
|
||||
### Эксперимент уровня «4»: память при одновременных загрузках
|
||||
|
||||
@@ -331,6 +357,141 @@ HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даё
|
||||
соединений между воркерами gunicorn); клиент, LB, API и RustFS делят один хост и CPU; пик cgroup включает
|
||||
страничный кэш и память сокетов; параллельно работали стенды других лаб.
|
||||
|
||||
### Трек 5 — трек 2 «Согласованность двух хранилищ (reconciler)»
|
||||
|
||||
**Что сделано.** Одноразовая команда `python -m messenger.attachments.entrypoints.reconcile` — сервис `reconciler`
|
||||
под профилем `reconcile` (`make reconcile ARGS=…`), по умолчанию `--dry-run`, `--apply` исправляет. Один проход
|
||||
сливает два отсортированных потока: листинг `ListObjectsV2(Prefix="attachments/", MaxKeys=1000)` (S3 отдаёт ключи в
|
||||
байтовом порядке) и keyset-страницы `SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT 1000`
|
||||
(`Index Scan` по `attachments_object_key_key`, колонка `COLLATE "C"` — тот же порядок). Для каждой строки сначала
|
||||
идут все объекты с меньшим ключом (объекты без строки), затем пара или её отсутствие. Время O(N), в памяти — по
|
||||
странице каждой стороны. Порог «старого» — `now − grace − skew` (по умолчанию 3600 + 60 с, `grace` ≥ 60): по
|
||||
`LastModified` объекта и `created_at` строки.
|
||||
|
||||
| Класс | Условие | `--apply` |
|
||||
| --- | --- | --- |
|
||||
| `orphan_stale` / `orphan_fresh` | объект без строки старше / моложе порога | повторный `SELECT` по ключу; строки нет → `DeleteObject` / ничего |
|
||||
| `missing` | `ready`, объекта нет | `HEAD`: всё ещё 404 → карантин |
|
||||
| `size_mismatch` | `ready`, `Size ≠ size_bytes` | `HEAD`: размер всё ещё другой → карантин |
|
||||
| `sha_mismatch` | `--deep`: SHA-256 потока ≠ `sha256` | карантин |
|
||||
| `pending_stale` / `pending_fresh` | `pending` старше / моложе порога | `FOR UPDATE SKIP LOCKED`, всё ещё `pending` и старая → объект, затем строка / ничего |
|
||||
| `quarantined` / `healed` | в карантине и всё ещё расходится / снова совпал | ничего / снять карантин |
|
||||
|
||||
Безопасность: готовая строка и её объект не удаляются никогда — строка уходит в карантин (миграция `0004`:
|
||||
`quarantine_reason`, `quarantined_at`), метаданные не меняются, `/content` отвечает `404` без запроса к S3, на строку
|
||||
по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим. Каждое
|
||||
действие предваряет повторная проверка той стороны, которую оно меняет (отказ — `rechecked`). Одновременно идёт один
|
||||
проход: `pg_try_advisory_lock(20260004)` на отдельном соединении на всё время прохода, второй отвечает `skipped` с
|
||||
кодом `0`. `--deep` читает каждый объект потоком и хеширует кусками по 64 KiB, не больше 8 в полёте. Отчёт — JSON в
|
||||
stdout (классы, исправленное, `rechecked`, до 20 примеров id, запросы, время, CPU, пик RSS), журнал — в stderr без
|
||||
ключей объектов и кредов; код `1` — недоступна зависимость или не выполнено действие. Ключ S3 — тот же
|
||||
ограниченный ключ API (`ListBucket`, `GetObject`, `DeleteObject`), root-ключей у сервиса нет.
|
||||
|
||||
**Гипотезы** (записаны в `design.md` изменения до первого прогона). H1 (корректность): слияние находит каждое
|
||||
внедрённое расхождение в его классе, `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0
|
||||
действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
|
||||
H2 (стоимость): время прохода без `--deep` линейно (`t(30k)/t(10k) = 3 ± 30 %`) и определяется страницами листинга;
|
||||
листингов и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS на 1k и 30k отличается меньше чем на 10 %; `--deep` на порядок
|
||||
дороже на объект и линеен по объёму.
|
||||
|
||||
**Методика.**
|
||||
|
||||
- `make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния, коммит `5c3c238`,
|
||||
`--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок готовых вне API
|
||||
(`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта) → внедрение на обеих
|
||||
сторонах (`scripts/reconcile-inject.sh`): 3 объекта без строки (`rc pipe` мусора под префикс), 3 удалённых
|
||||
объекта (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными
|
||||
байтами той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом
|
||||
(`PUT` прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make
|
||||
upload-faults`), все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения →
|
||||
`--dry-run --deep` → `--apply --deep` дважды → независимая проверка с `--expect-ready` и проверки API → возврат
|
||||
объекта (`healed`) → проход при занятой блокировке → проход при остановленном `s3` → 75 с загрузок через LB
|
||||
(3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка `--deep`.
|
||||
- `make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд, коммит `b191623`): RustFS 2 CPU / 3 GiB на
|
||||
`cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = 1 000, 10 000, 30 000
|
||||
синтетических вложений (`student-tests/tools/seed_storage.py`: 4 параллельных `PutObject` PNG 264 B и `COPY` строк
|
||||
`ready`); на каждой точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей
|
||||
100. Метрики — из отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS.
|
||||
- Отбраковка: до и после каждого прогона читаются `/proc/stat` всей VM Docker и `cpu.stat` cgroup `s3` и
|
||||
`postgres`; чужой CPU за окно — занятость минус наше (`s3`, `postgres`, CPU процесса сверки) минус запуск
|
||||
контейнера (1,5 ядро·с во всей VM, 0,5 на закреплённых ядрах — замерено на простаивающем стенде). Прогон с чужим
|
||||
CPU больше 2 ядер во всей VM или 0,25 ядра на закреплённых ядрах уходит в `cost/disturbed/` и повторяется после
|
||||
15 с тишины. Снимок `docker stats --all` хоста — до и после серии (`cost/host-docker-stats.txt`).
|
||||
|
||||
**Результаты H1** (`evidence/reconcile/demo.json`: 12 из 12 проверок `ok`, 248 с):
|
||||
|
||||
| Проверка | Наблюдение | Файл |
|
||||
| --- | --- | --- |
|
||||
| dry-run находит каждый класс и ничего не меняет | найдено ровно внедрённое: `orphan_stale` 3, `missing` 3, `size_mismatch` 3, `sha_mismatch` 3, `pending_stale` 6, `orphan_fresh` 2, `pending_fresh` 2; объектов 24 и строк 27 — до и после, классы независимой проверки те же | `dry-run.json`, `check-before.json` |
|
||||
| `apply` исправляет ровно найденное | 18 исправлений: 3 объекта без строки удалены, 9 строк в карантине (по 3 `missing`, `size_mismatch`, `sha_mismatch`), 6 намерений удалены (объект, затем строка); 9 `DeleteObject`, 6 `HEAD`, 19 SQL, ошибок 0 | `apply-1.json` |
|
||||
| повторный `apply` | 0 действий; видны 2 + 2 свежих и 9 в карантине | `apply-2.json` |
|
||||
| свежие и используемые не удалены | независимая проверка после: нарушений нет, `lost_ready` 0, свежие объект и намерение на месте; все 6 ссылок сообщений и 9 строк с расхождениями сохранены | `check-after.json`, `demo.json` |
|
||||
| карантин виден через API | метаданные вложения в сообщении с удалённым объектом — `200`, `/content` вложения с испорченными байтами — `404`, нетронутое вложение из того же сообщения скачивается побайтно | `demo.json` |
|
||||
| возврат объекта | объект вернули теми же байтами → `healed` 1, карантин снят, `/content` `200` с исходными байтами | `healed.json` |
|
||||
| один проход | пока другой сеанс держит `pg_advisory_lock(20260004)`: `skipped`, код `0`, 0 запросов | `lock-busy.json` |
|
||||
| S3 остановлен | код `1` за 1,63 с, журнал `reconcile.failed error=EndpointConnectionError`, stdout пуст, объекты, строки и классы те же | `s3-down.json` |
|
||||
| сверка во время загрузок | 75 проходов `--apply` за 75 с, 3 418 загрузок — все `201`; исправлены только 10 остатков внедрения (5 объектов без строки, 5 намерений), ошибок 0, `skipped` 0; объект идущей загрузки 247 раз попадал в проход без строки и 82 раза — свежим намерением, ни один не тронут; после нагрузки 3 429 готовых, у всех SHA-256 совпадает, `lost_ready` 0 | `under-load.json`, `check-under-load.json` |
|
||||
|
||||
Кроме стенда, `make student-test` (`test_reconciler.py`) проверяет то же против одноразового PostgreSQL, включая
|
||||
строку, появившуюся между листингом и удалением (объект остаётся, `rechecked`), и отказ листинга посреди прохода
|
||||
`--deep` (проход завершается `Unavailable`; тест нашёл, что раньше ошибка выходила группой исключений `TaskGroup` и
|
||||
печаталась трассировкой вместо `reconcile.failed`, исправлено в `3b3cb5b`); `test_s3_storage.py` — байтовый порядок и
|
||||
страницы листинга RustFS.
|
||||
|
||||
**Результаты H2** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не
|
||||
больше 0,2 ядра в VM и 0,01 на закреплённых ядрах; разброс повторов ≤ 5 %):
|
||||
|
||||
| N | Режим | Проход, с | мкс на объект | Листинг, с | SQL, с | Листингов / SQL / `GET` | CPU сверки, с | Пик RSS, MiB |
|
||||
| ---: | --- | ---: | ---: | ---: | ---: | --- | ---: | ---: |
|
||||
| 1 000 | без `--deep` | 0,105 | 105 | 0,090 | 0,008 | 1 / 2 / 0 | 0,47 | 82,5 |
|
||||
| 10 000 | без `--deep` | 1,000 | 100 | 0,946 | 0,043 | 10 / 11 / 0 | 0,73 | 83,6 |
|
||||
| 30 000 | без `--deep` | 3,729 | 124 | 3,562 | 0,145 | 30 / 31 / 0 | 1,36 | 83,8 |
|
||||
| 10 000 | страница 100 | 2,058 | 206 | 1,943 | 0,078 | 100 / 101 / 0 | 0,80 | 81,0 |
|
||||
| 1 000 | `--deep` | 0,493 | 493 | 0,091 | 0,009 | 1 / 2 / 1 000 | 0,86 | 83,0 |
|
||||
| 10 000 | `--deep` | 5,041 | 504 | 1,018 | 0,045 | 10 / 11 / 10 000 | 4,72 | 84,1 |
|
||||
| 30 000 | `--deep` | 16,150 | 538 | 3,597 | 0,133 | 30 / 31 / 30 000 | 13,68 | 84,1 |
|
||||
|
||||
`HEAD` и удалений на согласованных данных — 0 во всех прогонах. Время `docker compose run` на 0,8–0,9 с больше прохода
|
||||
(старт контейнера и интерпретатора; CPU процесса без работы — 0,44 с, `lock-busy.json`). Первая серия 29.10
|
||||
(`cost-2026-10-29/`, `5ca2cdc`, без отбраковки, на хосте шёл k6 другой лабы): без `--deep` 0,096 / 1,086 / 3,317 с,
|
||||
`--deep` на 30k — 15,9 с.
|
||||
|
||||
**Выводы.**
|
||||
|
||||
- H1 **подтверждена.** Каждый внедрённый класс найден в своём классе, dry-run ничего не меняет, `apply` исправил
|
||||
ровно найденное, повтор — 0 действий, независимая проверка вне API (другие инструменты и root-ключ) не нашла ни
|
||||
нарушений, ни потерь. Под непрерывной загрузкой 75 проходов подряд не тронули ни одного вложения: идущая загрузка
|
||||
выглядит для прохода «объектом без строки» (листинг увидел объект раньше, чем страница строк — строку) сотни раз,
|
||||
и от удаления её спасают оба барьера — порог grace и повторная проверка строки.
|
||||
- H2 **подтверждена в части стоимости обхода, опровергнута в части `--deep`.** Без `--deep` время растёт линейно:
|
||||
`t(10k)/t(1k)` = 9,5, `t(30k)/t(10k)` = 3,73 (в пределах 3 ± 30 %, у верхней границы; в серии 29.10 — 3,05); запросов
|
||||
листинга `⌈N/1000⌉`, SQL на один больше — keyset дочитывает пустую последнюю страницу; пик RSS 82,5 → 83,8 MiB
|
||||
(+1,6 %) — память от N не зависит. 95 % прохода — ожидание листинга RustFS, а не код сверки (CPU сверки сверх
|
||||
старта ≈ 30 мкс на объект, SQL — 4–5 мс на страницу). Цена листинга — около 83 мкс на ключ плюс 11 мс на запрос
|
||||
(страница 100 вдвое дороже страницы 1000 при вдесятеро большем числе запросов), и на ключ она растёт с размером
|
||||
префикса: 90 / 95 / 119 мс на страницу при 1k / 10k / 30k — свойство RustFS 1.0.4 (та же картина у его записи,
|
||||
`cost-aborted/NOTE.txt`). `--deep` дороже не на порядок, а в 4,3–5 раз (493–538 мкс на объект) и линеен:
|
||||
`t(30k)/t(10k)` = 3,20. Его упор — CPU однопоточного процесса сверки (13,7 с CPU за 16,2 с при лимите 1 CPU):
|
||||
на мелких объектах время уходит на запрос `GetObject` в aiobotocore, а не на хеширование (8 МБ за проход).
|
||||
- Практически: проход без `--deep` по 30k вложений — 3,7 с и 84 MiB, т. е. около 2 мин на миллион объектов при той же
|
||||
цене листинга (на практике больше — листинг RustFS дорожает с префиксом); его можно запускать часто, `--deep` —
|
||||
реже или выборочно. Независимая проверка через `rc` хеширует 3 429 объектов за 68,5 с (20 мс на объект) — в 40 раз
|
||||
медленнее `--deep` сверки: она годится как оракул, но не как механизм.
|
||||
|
||||
**Ограничения трека.** Верхняя точка матрицы — 30k, а не 100k: наполнить RustFS 1.0.4 до 100k объектов под одним
|
||||
префиксом за разумное время не удалось дважды (запись дорожает с ~8 до ~32 мс с ростом префикса,
|
||||
`cost-aborted/NOTE.txt`), поэтому линейность проверена на разбросе в 30 раз, а поведение на 100k+ — экстраполяция.
|
||||
Объекты матрицы мелкие (264 B): `--deep` на реальных вложениях (до 10 MiB) упрётся в объём, а не в число запросов,
|
||||
это не замерялось. Один хост и одна VM: S3, PostgreSQL и сверка разведены по vCPU, но не по физическим ядрам (у M4
|
||||
Max ядра двух типов), загрузку самого macOS отбраковка видит только как loadavg (1,9–2,8 за серию). Отбраковка ловит
|
||||
чужой CPU сверх 2 ядер в VM и 0,25 ядра на закреплённых ядрах, меньший остаётся шумом; задержки диска VM она не
|
||||
видит. В этой серии соседей почти не было (стенд lab6 и проверка другого проекта, ≤ 0,2 ядра), серия 29.10 шла рядом с
|
||||
k6 другой лабы и без отбраковки — её 30k на 11 % быстрее, что даёт оценку разброса между днями. Расхождение часов
|
||||
S3 и сверки не моделировалось (один хост, `--skew 0` в сценарии, 60 с по умолчанию). Сценарий использует `--grace 60`
|
||||
вместо 3600 по умолчанию, чтобы уложиться в минуты; при боевом grace свежими были бы все объекты моложе часа. Сверка
|
||||
не следит за объектами вне префикса `attachments/` и за незавершёнными multipart (их убирает lifecycle-правило
|
||||
bucket через сутки), запускается вручную (`make reconcile`), а не по расписанию.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- Один Docker-host: RustFS работает одним узлом без parity, S3 и PostgreSQL — единственные точки отказа; это не HA.
|
||||
@@ -351,5 +512,8 @@ HAProxy убивался OOM) и куча glibc (порог `mmap` 32 MiB даё
|
||||
потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи.
|
||||
- Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные
|
||||
тесты проверяют `413` через `Content-Length`.
|
||||
- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4». Гипотеза до трека 2: стоимость сверки
|
||||
хранилищ растёт линейно с числом объектов.
|
||||
- Сверка хранилищ (трек 2) запускается вручную и не восстанавливает байты: у повреждённого вложения нет второго
|
||||
источника, оно остаётся в карантине до ручного возврата объекта. Стоимость обхода измерена до 30k объектов, дальше —
|
||||
экстраполяция; ограничения замеров — в разделе трека.
|
||||
- Подтверждено прогонами: всё в таблице доказательств, включая уровень «4» и трек 2 (H1 подтверждена, H2 — в части
|
||||
линейной стоимости обхода и постоянной памяти; `--deep` оказался дороже в 4–5 раз, а не на порядок).
|
||||
|
||||
@@ -0,0 +1,34 @@
|
||||
# Трек 2 «Согласованность двух хранилищ»: сырые данные
|
||||
|
||||
Отчёты сверки — stdout `python -m messenger.attachments.entrypoints.reconcile` (поля описаны в
|
||||
`openspec/specs/lab4-storage-reconciler/spec.md`) плюс `exit_code` и `wall_seconds` (время `docker compose run`
|
||||
вместе со стартом контейнера). Независимая проверка — `scripts/reconcile_check.py`: листинг bucket через `rc`
|
||||
под root-ключом, строки через `psql`, SHA-256 каждого объекта через `rc object show | sha256sum`, без кода API.
|
||||
Время в JSON — UTC.
|
||||
|
||||
| Файл | Что внутри | Чем получен |
|
||||
| --- | --- | --- |
|
||||
| `demo.json` | итог сценария: коммит, внедрённые ключи и id по классам, 12 проверок с деталями, `ok` | `make reconcile-demo` |
|
||||
| `ready-before.json`, `ready-untouched.json` | id → SHA-256 готовых вложений до внедрения; то же без повреждаемых — ожидаемый набор после `apply` | `reconcile_check.py --save-ready` |
|
||||
| `check-before.json`, `check-after.json` | независимая проверка (`--deep`) после внедрения и после двух `apply` | `reconcile_check.py` |
|
||||
| `dry-run.json`, `apply-1.json`, `apply-2.json` | `--dry-run --deep`, затем `--apply --deep` дважды, `--grace 60 --skew 0` | сервис `reconciler` |
|
||||
| `healed.json` | `--apply` после возврата объекта вложения в карантине `missing` | сервис `reconciler` |
|
||||
| `lock-busy.json` | проход, пока `pg_advisory_lock(20260004)` держит другой сеанс: `skipped` | сервис `reconciler` |
|
||||
| `s3-down.json` | проход при остановленном `s3`: код, время, stdout, строки журнала `reconcile.*` | сервис `reconciler` |
|
||||
| `ready-load.json` | id → SHA-256 всех вложений, которые должны пережить нагрузку: готовые до неё и каждое `201` под ней | `reconcile_track.py` |
|
||||
| `under-load.json`, `check-under-load.json` | 75 с загрузок через LB (3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд: ответы, время проходов, исправленное, увиденное свежим; проверка `--deep --expect-ready` после | `reconcile_track.py` |
|
||||
| `cost/n<N>-<режим>-<повтор>.json` | отчёт прохода `--dry-run` на N объектах и строках; режимы `shallow` (страница 1000), `deep` (`--deep`), `page100` (страница 100); `screen` — чужая нагрузка CPU за окно прогона | `make reconcile-cost` |
|
||||
| `cost/disturbed/*.json` | отбракованные прогоны (чужого CPU больше 2 ядер во всей VM или 0,25 на закреплённых ядрах сверх запуска контейнера); каждый повторён после 15 с тишины | `make reconcile-cost` |
|
||||
| `cost/summary.json`, `cost/summary.txt` | медианы трёх прогонов на точку, запросы, RSS, CPU, наибольшая чужая нагрузка, число отбракованных; закрепление CPU и лимиты `s3`/`postgres`; время наполнения | `make reconcile-cost` |
|
||||
| `cost/host-docker-stats.txt` | `docker stats --all` и `docker ps` всего хоста до и после серии, loadavg macOS | `make reconcile-cost` |
|
||||
| `cost-2026-10-29/` | первая полная серия той же матрицы (`5ca2cdc`, 29.10): без отбраковки и без `cpu_seconds`, рядом шёл k6 другой лабы; для сравнения между днями, `NOTE.txt` | `make reconcile-cost` на `5ca2cdc` |
|
||||
| `after-checks.txt` | после трека на стенде из чистого состояния: `make test`, `test-persistence`, `test-failover`, `restore`, `reconcile`, `lint`, `check`, `validate`, `student-test` | команды внутри файла |
|
||||
| `cost-aborted/` | две прерванные попытки наполнить RustFS до 100k объектов и их точки 1k/10k; диагноз — `NOTE.txt` | `make reconcile-cost` до `5ca2cdc` |
|
||||
|
||||
Поля `screen`: `window_seconds` — окно между двумя чтениями счётчиков VM (`/proc/uptime`), `ours_cores` — CPU
|
||||
`s3`, `postgres` и процесса сверки за окно, `other_cores` и `other_on_pinned_cores` — чужой CPU во всей VM и на
|
||||
ядрах `s3`/`postgres`/`reconciler` сверх запуска контейнера (1,5 и 0,5 ядро·с), в ядрах, `disturbed` — прогон
|
||||
отбракован. Итоговая серия снята на `b191623`: её `summary.json` записывает пороги, но не запас на запуск
|
||||
контейнера и число повторов — это значения по умолчанию сценария этого коммита (1,5 и 0,5 ядро·с, 3 повтора);
|
||||
начиная с `8cb5a66` они пишутся в `summary.json`. Объём данных в матрице — синтетические вложения
|
||||
`student-tests/tools/seed_storage.py` (PNG 8 × 8, 264 B, строки `ready` двухчасовой давности).
|
||||
@@ -0,0 +1,150 @@
|
||||
date: 2026-10-30T04:08:39Z commit: 8cb5a66 стенд из чистого состояния: make reset-data && make up
|
||||
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit=0
|
||||
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 2.704}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit=0
|
||||
|
||||
$ make restore
|
||||
scripts/restore.sh
|
||||
Container mtusi2026lab4-api-1 Running
|
||||
Container mtusi2026lab4-api-2 Starting
|
||||
Container mtusi2026lab4-api-2 Started
|
||||
Container mtusi2026lab4-api-1 Waiting
|
||||
Container mtusi2026lab4-api-2 Waiting
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
exit=0
|
||||
|
||||
$ make reconcile
|
||||
docker compose run --rm --no-deps reconciler
|
||||
{
|
||||
"mode": "dry-run",
|
||||
"skipped": false,
|
||||
"grace_seconds": 3600,
|
||||
"skew_seconds": 60,
|
||||
"deep": false,
|
||||
"page_size": 1000,
|
||||
"scanned": {
|
||||
"objects": 3,
|
||||
"rows": 3
|
||||
},
|
||||
"found": {
|
||||
"orphan_stale": 0,
|
||||
"orphan_fresh": 0,
|
||||
"missing": 0,
|
||||
"size_mismatch": 0,
|
||||
"sha_mismatch": 0,
|
||||
"pending_stale": 0,
|
||||
"pending_fresh": 0,
|
||||
"quarantined": 0,
|
||||
"healed": 0
|
||||
},
|
||||
"fixed": {
|
||||
"orphan_stale": 0,
|
||||
"missing": 0,
|
||||
"size_mismatch": 0,
|
||||
"sha_mismatch": 0,
|
||||
"pending_stale": 0,
|
||||
"healed": 0
|
||||
},
|
||||
"rechecked": {},
|
||||
"errors": 0,
|
||||
"samples": {},
|
||||
"cost": {
|
||||
"seconds": 0.019,
|
||||
"requests": {
|
||||
"s3_list": 1,
|
||||
"s3_head": 0,
|
||||
"s3_get": 0,
|
||||
"s3_delete": 0,
|
||||
"sql": 1
|
||||
},
|
||||
"waited_seconds": {
|
||||
"s3_list": 0.01,
|
||||
"sql": 0.003
|
||||
},
|
||||
"hashed_bytes": 0,
|
||||
"cpu_seconds": 0.455,
|
||||
"max_rss_mib": 80.3
|
||||
}
|
||||
}
|
||||
exit=0
|
||||
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
|
||||
143 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
exit=0
|
||||
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ make validate
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
exit=0
|
||||
|
||||
$ make student-test
|
||||
.venv/bin/pytest
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0
|
||||
rootdir: <repo>
|
||||
configfile: pyproject.toml
|
||||
testpaths: student-tests
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collected 359 items / 17 deselected / 342 selected
|
||||
|
||||
student-tests/adapters/test_s3_storage.py ... [ 0%]
|
||||
student-tests/api/test_access.py ......... [ 3%]
|
||||
student-tests/api/test_attachments.py .................................. [ 13%]
|
||||
... [ 14%]
|
||||
student-tests/api/test_bounded_contexts.py .................. [ 19%]
|
||||
student-tests/api/test_cache.py ...... [ 21%]
|
||||
student-tests/api/test_concurrency.py .... [ 22%]
|
||||
student-tests/api/test_consistency.py ........ [ 24%]
|
||||
student-tests/api/test_drain.py .. [ 25%]
|
||||
student-tests/api/test_events.py ...... [ 27%]
|
||||
student-tests/api/test_idempotency.py ............... [ 31%]
|
||||
student-tests/api/test_instance.py .... [ 32%]
|
||||
student-tests/api/test_message_attachments.py ........... [ 35%]
|
||||
student-tests/api/test_migrations.py ....... [ 38%]
|
||||
student-tests/api/test_negative.py ..................................... [ 48%]
|
||||
[ 48%]
|
||||
student-tests/api/test_operability.py .............. [ 52%]
|
||||
student-tests/api/test_pagination.py .................. [ 58%]
|
||||
student-tests/api/test_pool.py .. [ 58%]
|
||||
student-tests/api/test_reconciler.py ...... [ 60%]
|
||||
student-tests/api/test_sessions.py .................. [ 65%]
|
||||
student-tests/api/test_timeout.py ...... [ 67%]
|
||||
student-tests/api/test_upload_consistency.py ......... [ 70%]
|
||||
student-tests/api/test_wire_format.py .. [ 70%]
|
||||
student-tests/unit/test_attachments_domain.py .......................... [ 78%]
|
||||
. [ 78%]
|
||||
student-tests/unit/test_authentication.py ..................... [ 84%]
|
||||
student-tests/unit/test_cursor.py ........... [ 88%]
|
||||
student-tests/unit/test_domain.py ...................................... [ 99%]
|
||||
.. [ 99%]
|
||||
student-tests/unit/test_timeouts.py . [100%]
|
||||
|
||||
===================== 342 passed, 17 deselected in 38.62s ======================
|
||||
exit=0
|
||||
@@ -38,9 +38,9 @@
|
||||
|
||||
- [x] 6.1 `make reconcile-demo` на чистом стенде → `evidence/reconcile/`
|
||||
- [x] 6.2 `make reconcile-cost` на чистом стенде → `evidence/reconcile/cost/`
|
||||
- [ ] 6.3 Проверка группы: критерии H1 и H2 из `design.md`
|
||||
- [x] 6.3 Проверка группы: критерии H1 и H2 из `design.md`
|
||||
|
||||
## 7. Отчёт
|
||||
|
||||
- [ ] 7.1 `REPORT.md`: раздел трека 2 (гипотеза, методика, результаты, ограничения, выводы), строки трека в таблице доказательств и отказов; `AGENTS.md`
|
||||
- [ ] 7.2 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`
|
||||
- [x] 7.1 `REPORT.md`: раздел трека 2 (гипотеза, методика, результаты, ограничения, выводы), строки трека в таблице доказательств и отказов; `AGENTS.md`
|
||||
- [x] 7.2 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`
|
||||
|
||||
@@ -46,7 +46,8 @@ context: |
|
||||
volume), `valkey` (8.x-alpine по digest, AOF), `s3` (RustFS 1.0.4 по digest, volume `s3data`,
|
||||
без опубликованных портов, консоль выключена, non-root, read-only), одноразовый `s3-init`
|
||||
(`rc` по digest: bucket, anonymous private, политика и пользователь API), `s3-cli` под профилем
|
||||
`tools` для проверок, `k6` под профилем `bench`. Сети `edge` и `backend` (internal). Секреты —
|
||||
`tools` для проверок, `k6` под профилем `bench`, одноразовый `reconciler` (образ API, сверка
|
||||
PostgreSQL ↔ S3) под профилем `reconcile`. Сети `edge` и `backend` (internal). Секреты —
|
||||
compose secrets из gitignored `secrets/`, приложение читает их через `*_FILE`; root-ключи S3
|
||||
получают только `s3`, `s3-init` и `s3-cli`.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user