The level 3 and 4 evidence was taken on24f9d61anda774a2f, before the lab 3 fixes were carried over and before the reconciler. Take all of it again in one series on81dd816, whose application and stand code is the final one: a fresh clone runs the launch block of the report from secrets to reset-data, then one stand from clean volumes gives the smoke, stack, limits, lb-check, failover of each replica and of the upload replica, persistence, S3 outage, S3 privacy, lost-answer retry, upload faults, all stack checks, storage layout and three runs of the upload memory matrix. The three memory runs keep the peak with three slots at 297-345 MiB against 512 MiB at the limit without them, but at 40 uploads of 10 MiB the wait for a slot nears the 8 s request timeout and one run of three gave 7 of 80 a 503. Those timeouts left 67 invisible intents; the record shows the reconciler seeing them as fresh and the sweep removing all of them after the grace period. Message write load is taken with tests/load.py from a container on the edge network: 2 106 RPS, no errors, replicas and PostgreSQL at their CPU limits. The first try from the macOS host is kept as a discarded attempt, it ran out of ephemeral ports while the replicas answered every request. The report gets the defense answers, the load section, the evidence commits, the upload limit order as the pipeline applies it, medians in the track 2 cost table and the proposals over the word limit; the evidence index lists every file with its command and commit. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
11 KiB
Доказательства
Обезличенные результаты прогонов лабы 4. Пользователи, чаты, тексты и изображения синтетические; паролей, токенов,
ключей S3, .env, содержимого secrets/, ключей объектов в журналах и дампов здесь нет. В первой строке каждого
отчёта *.txt — дата (UTC) и коммит прогона; у JSON даты и коммита внутри может не быть — коммит указан в таблицах
ниже. Проверки через балансировщик шли на порт 18084 (LB_HTTP_PORT; 8080 на машине был занят стендами других лаб):
цели make берут BASE_URL из docker compose port lb 8080. Hostname реплики = X-Instance-Id; ID контейнеров
меняются между прогонами. Коммит 81dd816 по коду приложения и стенда равен итоговому: после него менялись только
отчёт, AGENTS.md, openspec и evidence/.
Уровни «3» и «4» сняты 30.10 одной серией на одном стенде: make reset-data, make up, затем make test,
stack-evidence, limits, lb-check, scenario SCENARIO=failover-upload, failover-evidence, failover-evidence SHIFT=1, persistence-evidence, scenario SCENARIO=s3-outage, s3-check, retry-check, upload-faults,
faults-evidence, attachments-evidence, storage-evidence, отброшенная попытка нагрузки с хоста, три прогона
upload-memory и mmap-32m, make reconcile и overload-leftovers.txt, нагрузка load.txt клиентом в контейнере.
Без стенда — contract-checks.txt и student-tests.txt; clean-clone.txt — в отдельном клоне со своим
compose-проектом, до серии.
Уровень «3» и перенос лабы 3
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
clean-clone.txt |
запуск из свежего clone на пустых volumes: секреты, config, make up с миграциями 0001–0004 и s3-init, smoke, persistence, failover, restore, failover-upload, s3-outage, s3-check, reconcile, повтор миграций, make down (volumes остаются), make reset-data (volumes удалены) |
команды блока «Запуск из чистого clone» REPORT.md дословно, между ними — наблюдения |
81dd816 |
contract-checks.txt |
make check, make validate (openapi-spec-validator 0.7.2 из .venv); git diff --stat upstream/main контракта, публичных тестов и задания (пусто) и .github (только свой CI job) |
команды внутри файла | 81dd816 |
student-tests.txt |
make lint и все собственные тесты по именам (342), включая адаптер S3 против RustFS |
make student-test PYTEST_ARGS='-v --no-header' |
81dd816 |
smoke.txt |
публичный smoke через LB, ветка LAB ≥ 4 |
make test |
81dd816 |
stack.txt |
сервисы, порты только у lb, container_name 0, docker port реплик пуст, hostname ↔ X-Instance-Id, лимиты, сети, uid, взгляд LB |
make stack-evidence |
81dd816 |
environment.txt |
host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | make stack-evidence |
81dd816 |
limits.txt |
лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на 127.0.0.1, секреты (root-ключи S3 только у s3, s3-init, s3-cli), volumes и сети по политике |
make limits |
81dd816 |
lb-check.json |
40 GET /users/me одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × 201, одна копия, 409 на другое тело |
make lb-check |
81dd816 |
failover-upload.json |
upload → остановка принявшей реплики → скачивание через другую, SHA-256, возврат реплики | make scenario SCENARIO=failover-upload |
81dd816 |
failover-899a952a5a21.txt, failover-0cc3ee358e59.txt |
make test-failover ACTION_SCRIPT=scripts/stop-one.sh для каждой реплики: docker inspect до/после, остановлен именно target, его журнал остановки, restore |
make failover-evidence, затем make failover-evidence SHIFT=1 |
81dd816 |
persistence.txt |
make test-persistence ACTION_SCRIPT=scripts/restart.sh и StartedAt всех контейнеров до и после |
make persistence-evidence |
81dd816 |
s3-outage.json |
S3 остановлен: upload и /content 503 с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 |
make scenario SCENARIO=s3-outage |
81dd816 |
storage-layout.txt |
\d attachments и \d message_attachments, bytea всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, ro и mounts реплик, volume s3, секреты сервисов |
make attachments-evidence |
81dd816 |
schema.txt, migrations.txt, kdf.txt, secrets.txt |
\d+ всех таблиц и применённые миграции; повтор migrate → up to date при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, .env и volumes не в Git |
make storage-evidence |
81dd816 |
retry.json |
потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; 201, одна копия |
make retry-check |
81dd816 |
Уровень «4»
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
upload-faults.txt |
36 ошибочных запросов через LB без 5xx; отказ COMMIT после PUT → немедленная компенсация; реплика убита между PUT и COMMIT → уборка после grace; обрыв и зависание тела |
make upload-faults |
81dd816 |
faults.txt |
все проверки стенда под маркером stack: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и test_attachment_faults.py |
make faults-evidence |
81dd816 |
s3-security.txt |
23 проверки: нет host-портов у s3, консоль закрыта изнутри и из сети стенда, s3-init повторно дважды без изменений, права ключа API (разрешено и AccessDenied), анонимный доступ, снимок политики без секретов |
make s3-check |
81dd816 |
upload-memory/run{1,2,3}/ |
три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; summary.txt и JSON на точку (ответы, задержки, пик memory.peak реплик и LB, oom_kill) |
python3 scripts/upload_memory.py --out evidence/upload-memory/runN (то же, что make upload-memory, в свой каталог) |
81dd816 |
upload-memory/mmap-32m/ |
3 слота, 10 MiB, порог mmap glibc 32 MiB вместо 128 KiB |
MALLOC_MMAP_THRESHOLD_=33554432 python3 scripts/upload_memory.py --slots 3 --sizes 10485760 --out evidence/upload-memory/mmap-32m |
81dd816 |
load.txt, load/run{1,2,3}.json |
нагрузка записи сообщений tests/load.py (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети edge: RPS, ошибки, p50/p95/p99, docker stats стенда и клиента, статусы request.handled реплик |
команды внутри load.txt |
81dd816 |
load/host-attempt.txt |
отброшенная попытка той же нагрузки с хоста macOS: клиентские ошибки соединения при исчерпании эфемерных портов, ни одного 5xx на репликах; строки перенесены из вывода консоли |
команды внутри файла | 81dd816 |
overload-leftovers.txt |
после серии памяти: 67 невидимых намерений от 503 по таймауту посреди PutObject (и одно от s3-outage), их вид в make reconcile и удаление фоновой уборкой после grace 900 с |
команды внутри файла | 81dd816 |
Трек 2 «Согласованность двух хранилищ»
reconcile/ — сценарий трека, матрица стоимости и проверки после трека; состав и поля — reconcile/README.md.
| Файл | Что доказывает | Команда | Коммит |
|---|---|---|---|
reconcile/demo.json и файлы сценария |
внедрение ошибок на обеих сторонах, dry-run, apply дважды, независимая проверка, карантин, healed, занятая блокировка, остановленный S3, 75 проходов под загрузками |
make reconcile-demo |
5c3c238 |
reconcile/cost/ |
стоимость обхода 1k/10k/30k × 3 прогона, закреплённые CPU, отбраковка чужой нагрузки | make reconcile-cost |
b191623 |
reconcile/cost-2026-10-29/, reconcile/cost-aborted/ |
первая серия матрицы без отбраковки; прерванные попытки наполнить RustFS до 100k | make reconcile-cost |
5ca2cdc, до 5ca2cdc |
reconcile/after-checks.txt |
уровни «3» и «4» после трека на стенде из чистого состояния | команды внутри файла | 8cb5a66 |