The demo on a clean stand (61dcb6b) passes 13 of 13 checks: the dry-run
finds exactly the injected ids in every class, apply writes one
audit.attachment_discarded reason=reconcile per stale intent, the
original bytes leave the quarantine while random bytes of the same
length keep it, docker stop ends a pass hanging on a paused S3 in
0.11 s with exit code 143, and 74 passes during 3454 uploads lose no
ready attachment; 46 times the HEAD recheck kept an in-flight upload
out of the quarantine.
The cost matrix now reaches 100k: a shallow pass takes 0.108 / 1.032 /
3.761 / 20.211 s for 1k / 10k / 30k / 100k with ceil(N/1000) listings
and SQL pages and the same 87-88 MiB of RSS. t(100k)/t(10k) is 19.6,
outside the preregistered 10 +- 30 %, because a RustFS listing page
costs 91 ms at 1k and 197 ms at 100k objects in the prefix; the
reconciler's own CPU and SQL stay linear. The previous 30k series moves
to cost-b191623/, and the old after-checks give way to the full series
that follows the track.
Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
Доказательства
Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические; паролей, токенов,
ключей S3, .env, содержимого secrets/, ключей объектов в журналах и дампов здесь нет. В первой строке каждого
отчёта *.txt — дата (UTC) и коммит прогона; у JSON даты и коммита внутри может не быть — коммит указан в таблицах
ниже. Проверки через балансировщик шли на порт 18084 (LB_HTTP_PORT; 8080 на машине был занят стендами других лаб):
цели make берут BASE_URL из docker compose port lb 8080. Hostname реплики = X-Instance-Id; ID контейнеров
меняются между прогонами. Коммит 81dd816 по коду приложения и стенда равен итоговому: после него менялись только
отчёт, AGENTS.md, openspec и evidence/.
Уровни «3» и «4» сняты 30.10 одной серией на одном стенде: make reset-data, make up, затем make test,
stack-evidence, limits, lb-check, scenario SCENARIO=failover-upload, failover-evidence, failover-evidence SHIFT=1, persistence-evidence, scenario SCENARIO=s3-outage, s3-check, retry-check, upload-faults,
faults-evidence, attachments-evidence, storage-evidence, отброшенная попытка нагрузки с хоста, три прогона
upload-memory и mmap-32m, make reconcile и overload-leftovers.txt, нагрузка load.txt клиентом в контейнере.
Без стенда — contract-checks.txt и student-tests.txt; clean-clone.txt — в отдельном клоне со своим
compose-проектом, до серии.
Уровень «3» и перенос лабы 3
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
clean-clone.txt |
запуск из свежего clone на пустых volumes: секреты, config, make up с миграциями 0001–0004 и s3-init, smoke, persistence, failover, restore, failover-upload, s3-outage, s3-check, reconcile, повтор миграций, make down (volumes остаются), make reset-data (volumes удалены) |
команды блока «Запуск из чистого clone» REPORT.md дословно, между ними — наблюдения |
81dd816 |
contract-checks.txt |
make check, make validate (openapi-spec-validator 0.7.2 из .venv); git diff --stat upstream/main контракта, публичных тестов и задания (пусто) и .github (только свой CI job) |
команды внутри файла | 81dd816 |
student-tests.txt |
make lint и все собственные тесты по именам (342), включая адаптер S3 против RustFS |
make student-test PYTEST_ARGS='-v --no-header' |
81dd816 |
smoke.txt |
публичный smoke через LB, ветка LAB ≥ 4 |
make test |
81dd816 |
stack.txt |
сервисы, порты только у lb, container_name 0, docker port реплик пуст, hostname ↔ X-Instance-Id, лимиты, сети, uid, взгляд LB |
make stack-evidence |
81dd816 |
environment.txt |
host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | make stack-evidence |
81dd816 |
limits.txt |
лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на 127.0.0.1, секреты (root-ключи S3 только у s3, s3-init, s3-cli), volumes и сети по политике |
make limits |
81dd816 |
lb-check.json |
40 GET /users/me одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × 201, одна копия, 409 на другое тело |
make lb-check |
81dd816 |
failover-upload.json |
upload → остановка принявшей реплики → скачивание через другую, SHA-256, возврат реплики | make scenario SCENARIO=failover-upload |
81dd816 |
failover-899a952a5a21.txt, failover-0cc3ee358e59.txt |
make test-failover ACTION_SCRIPT=scripts/stop-one.sh для каждой реплики: docker inspect до/после, остановлен именно target, его журнал остановки, restore |
make failover-evidence, затем make failover-evidence SHIFT=1 |
81dd816 |
persistence.txt |
make test-persistence ACTION_SCRIPT=scripts/restart.sh и StartedAt всех контейнеров до и после |
make persistence-evidence |
81dd816 |
s3-outage.json |
S3 остановлен: upload и /content 503 с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 |
make scenario SCENARIO=s3-outage |
81dd816 |
storage-layout.txt |
\d attachments и \d message_attachments, bytea всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, ro и mounts реплик, volume s3, секреты сервисов |
make attachments-evidence |
81dd816 |
schema.txt, migrations.txt, kdf.txt, secrets.txt |
\d+ всех таблиц и применённые миграции; повтор migrate → up to date при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, .env и volumes не в Git |
make storage-evidence |
81dd816 |
retry.json |
потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; 201, одна копия |
make retry-check |
81dd816 |
Уровень «4»
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
upload-faults.txt |
36 ошибочных запросов через LB без 5xx; отказ COMMIT после PUT → немедленная компенсация; реплика убита между PUT и COMMIT → уборка после grace; обрыв и зависание тела |
make upload-faults |
81dd816 |
faults.txt |
все проверки стенда под маркером stack: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и test_attachment_faults.py |
make faults-evidence |
81dd816 |
s3-security.txt |
23 проверки: нет host-портов у s3, консоль закрыта изнутри и из сети стенда, s3-init повторно дважды без изменений, права ключа API (разрешено и AccessDenied), анонимный доступ, снимок политики без секретов |
make s3-check |
81dd816 |
upload-memory/run{1,2,3}/ |
три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; summary.txt и JSON на точку (ответы, задержки, пик memory.peak реплик и LB, oom_kill) |
python3 scripts/upload_memory.py --out evidence/upload-memory/runN (то же, что make upload-memory, в свой каталог) |
81dd816 |
upload-memory/mmap-32m/ |
3 слота, 10 MiB, порог mmap glibc 32 MiB вместо 128 KiB |
MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m |
81dd816 |
load.txt, load/run{1,2,3}.json |
нагрузка записи сообщений tests/load.py (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети edge: RPS, ошибки, p50/p95/p99, docker stats стенда и клиента, статусы request.handled реплик |
команды внутри load.txt |
81dd816 |
load/host-attempt.txt |
отброшенная попытка той же нагрузки с хоста macOS: клиентские ошибки соединения при исчерпании эфемерных портов, ни одного 5xx на репликах; строки перенесены из вывода консоли |
команды внутри файла | 81dd816 |
overload-leftovers.txt |
после серии памяти: 67 невидимых намерений от 503 по таймауту посреди PutObject (и одно от s3-outage), их вид в make reconcile и удаление фоновой уборкой после grace 900 с |
команды внутри файла | 81dd816 |
Трек 2 «Согласованность двух хранилищ»
reconcile/ — сценарий трека, матрица стоимости и проверки после трека; состав и поля — reconcile/README.md.
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
reconcile/demo.json и файлы сценария |
внедрение ошибок на обеих сторонах, dry-run, apply дважды, независимая проверка, карантин, healed, занятая блокировка, остановленный S3, 75 проходов под загрузками |
make reconcile-demo |
5c3c238 |
reconcile/cost/ |
стоимость обхода 1k/10k/30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки | make reconcile-cost |
b191623 |
reconcile/cost-2026-10-29/, reconcile/cost-aborted/ |
первая серия матрицы без отбраковки; прерванные попытки наполнить RustFS до 100k | make reconcile-cost |
5ca2cdc, до 5ca2cdc |
reconcile/after-checks.txt |
уровни «3» и «4» после трека на стенде из чистого состояния | команды внутри файла | 8cb5a66 |