Files
mtusi2026lab4/REPORT.md

49 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4 «S3-хранилище и вложения»

Автор: Костылев Артём, БПИ2303. Ветка: solution/bpi2303-kostylev. Цель — «5», трек 2 «Согласованность двух хранилищ (reconciler)».

Финальная validation завершена 2026-11-06 на 5e49502ae78fa48b992c97418e490666c699726d: runtime совпадает с прошедшим независимое ревью 7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4. Динамический долг обоих PNG-фиксов закрыт, открытых major не выявлено; известный minor сохранён в ограничениях. Заявлена «5», трек 2, с отрицательным результатом гипотезы о линейном времени. Аудит применимости объясняет, какие старые серии приняты без повторения и какие проверки выполнены заново. Публикация ещё не разрешена.

Происхождение и применимость доказательств

Состояние кода SHA Что подтверждено и что сохраняется
Перенос основы ЛР3 на SQLAlchemy/Alembic 8e4532f6f5c05d902b6e2c310f54320d95585904, источник f591fa64e525679a31c9db7f942d36c789e1a12f Полная серия уровней 3/4; историческая относительно поздних исправлений
Стоимость reconciler 3402fd69d4922e500035a204d957be2cccaeb85a 27 пригодных замеров: измеряемый обход, SQL/S3-адаптеры, зависимости и стенд не менялись; сохраняются с исходным SHA
Поздние исправления ЛР3 75b93bbba5f29575d3fca1d013cc7e0770d88082, источник ba78cf6da439a4ec60fd59389583b38285b0b2b1 Сессии, NUL/Basic, JSON ошибок LB; 492 теста, 19 stack-тестов, отказы и новые серии. Все 214 путей диапазона учтены в манифесте переноса
Декодируемость PNG 9387c3d82ab77ea376eecce19a36a22803d35efb Битый IDAT с корректными CRC отклоняется; offline-доказательства
Единый IHDR 7c8a1a64899dc0a1b5fa0949c0992ef40722eacf, архив/ревью 7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4 Повторный IHDR отклоняется; 407 offline-тестов. Манифест совпадает с текущими семью файлами

После 75b93bb… в runtime изменились только images.py и новый png.py зоны attachments. Поэтому старые upload-memory и загрузки во время сверки не доказывают память и скорость нового инспектора. Результаты текстового пути, скачивания, persistence/failover, IAM/bootstrap сохраняются для неизменённых механизмов; это не повторные прогоны на текущем HEAD. Серия asyncpg 29–30 октября вынесена из основных таблиц в исторический индекс.

Индекс evidence связывает команды, SHA и файлы. Аудит отчётного этапа содержит проверки исходных чисел, ссылок и границ изменений. Сырые результаты не редактировались.

Запуск из чистого clone

Нужны Git, Docker Compose v2, make, uv и Python 3.14 для приложения/собственных тестов; публичным проверкам достаточно системного Python 3.9+. Из основного репозитория можно создать свежий clone под разрешённым каталогом .verification/:

git clone --no-hardlinks --branch solution/bpi2303-kostylev . .verification/hlpipe-lab4-defense
cd .verification/hlpipe-lab4-defense
export COMPOSE_PROJECT_NAME=hlpipe-lab4-defense
export COMPOSE_FILE=compose.yaml
export LB_HTTP_PORT=18084 LB_STATS_PORT=24845
export BASE_URL=http://127.0.0.1:18084
export NO_PROXY=localhost,127.0.0.1,::1
export no_proxy=localhost,127.0.0.1,::1
make secrets
docker compose --env-file .env config --quiet
make up
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose ps -a
make restore
make scenario SCENARIO=failover-upload
make restore
make scenario SCENARIO=s3-outage
make s3-check
make reconcile
make migrate
make down

Имя clone/project должно быть новым; порт 18084 должен быть свободен. Занявший его чужой стенд не останавливается. make secrets создаёт локальные файлы и не перезаписывает существующие; содержимое секретов выводить не нужно. make up ждёт PostgreSQL/Valkey/RustFS, alembic upgrade head, bootstrap bucket и обе API-реплики в ротации LB. Повторный make migrate не меняет актуальную схему. make down сохраняет постоянные volumes; reset-data, down -v и удаление пользовательских данных в этом процессе не используются.

Сохранённое воспроизведение из свежего clone: 76,866 с, exit 0, SHA cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e, проект hlpipe-lab4-clean-20261105231220. Smoke, persistence, failover, upload→stop→download, S3-outage, 31 проверка S3, dry-run и повторная миграция прошли; после down остались три volumes. Полная команда и вывод. Это запуск до позднего переноса и PNG-фиксов, а не доказательство запуска нынешнего SHA.

Проверки исходников выполняются отдельно:

make install
make check
make validate
make lint
make student-test
openspec validate --all --strict --no-interactive

make student-test использует одноразовые Docker-зависимости. На отчётном этапе выполнены только check/validate/lint/OpenSpec и чтение сохранённых доказательств; тесты с Docker и нагрузки не запускались. Сохранённые полные 492 теста относятся к 75b93bb…, а 407 unit-тестов после PNG-фиксов — к 7c8a1a6…; складывать эти числа в число тестов одного прогона нельзя.

Архитектура и решения

клиент → HAProxy :18084 → API ×2, по 2 UvicornWorker
                              ├→ PostgreSQL: метаданные, сессии, сообщения
                              ├→ Valkey: кэш сессий
                              └→ RustFS: байты оригиналов
migrate → PostgreSQL; s3-init → private bucket и IAM
reconciler → PostgreSQL + RustFS, одноразовый сервис

Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka, Pydantic v2, structlog, SQLAlchemy 2.0.45 async, asyncpg как драйвер, Alembic 1.16.5, aiobotocore и Pillow 13.0.0. Версии зависимостей закреплены в uv.lock, правила форматирования — пробелы в pyproject.toml. Образы закреплены digest в compose.yaml: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, rc 0.1.36.

Зоны identity, messaging, attachments содержат домен, прикладные порты и адаптеры; shared — платформу, main.py — сборку. Межзонная проверка членства идёт через порт ChatMembership, не через импорт инфраструктуры соседней зоны. Pydantic остаётся на HTTP-границе, ORM-модели DeclarativeBase — внутри зон. Сессии создаёт async_sessionmaker; UoW получает свою AsyncSession на транзакцию и явно делает COMMIT. Незавершённая транзакция откатывается при закрытии сессии. SQL строится ORM/Core с параметрами; asyncpg не используется как отдельный прикладной слой запросов. Отправка сообщения — Core CTE под блокировкой строки чата: квитанция Idempotency-Key, сообщение и ссылки на вложения фиксируются вместе.

Alembic env.py использует async engine и run_sync, advisory lock и транзакции миграций. Ревизии: 0001 — базовая схема, 0002 — ключи идемпотентности, 0003 — вложения/связи, 0004 — карантин. Legacy-схема принимается только после сверки журнала и каталога в legacy.py; произвольный stamp вместо миграции не применяется. При подготовке отчёта через Context7 сверены закреплённые версии: SQLAlchemy, сессии, Alembic, async migrations.

Источники истины. PostgreSQL хранит владельца/чат, имя, MIME, размер, SHA-256, размеры изображения, статус, object key и ссылки сообщений. Байты — только в приватном RustFS, ключ attachments/<uuid> назначает сервер. API read-only, без data volumes; /tmp — tmpfs. attachments.object_key имеет UNIQUE и COLLATE "C"; частичный индекс pending обслуживает уборку; FK message_attachments (attachment_id, chat_id) не даёт привязать чужой чат или удалить используемое вложение. История использует keyset (created_at, id).

Upload. Сначала аутентификация (401), объявленный размер (413), членство (404), filename (400), MIME (415). Поток ограничен 10 485 760 байтами и считается также без Content-Length; SHA-256 вычисляется при чтении. Тело собирается в ограниченный буфер под UPLOAD_CONCURRENCY=3 на worker; две проверки изображений на worker работают в потоках. Лимит 40 млн пикселей проверяется до распаковки. PNG требует единственный первый IHDR, проверку CRC и потоковую проверку zlib/Adler-32, длины строк и фильтров, включая Adam7. Дополнительные блоки распаковки — по 64 KiB, полного массива пикселей нет. JPEG проверяется через draft 1/8 и load. Ошибка изображения → 415 до намерения в БД/S3. Оба PNG из ревью отклоняются с 415 в ASGI-регрессиях и через настоящий LB/RustFS. После двух запросов число строк/объектов осталось 7/7; корректные PNG/JPEG скачаны вторым участником побайтно: финальная сверка.

Порядок публикации: INSERT pending + COMMIT → PUT → UPDATE ready + COMMIT → 201. Метаданные и скачивание доступны только участникам чата; чужой и неизвестный id дают 404. Скачивание идёт через API кусками 64 KiB, с исходными байтами и истинным MIME, без redirect. attachment_ids присутствует во всех ответах сообщений, отсутствие и [] дают один fingerprint.

Компенсация. После отказа фиксации ready новая транзакция блокирует строку FOR UPDATE: ready не трогается; у pending удаляется объект, затем строка. При отмене/неизвестном исходе PUT намерение остаётся для уборки. Sweeper раз в 30 с выбирает до 100 pending старше 900 с через FOR UPDATE SKIP LOCKED, удаляет объект раньше строки и публикует audit.attachment_discarded. Готовые и используемые вложения не выбираются.

Ресурсы и отказы. У API 1 CPU/512 MiB на реплику, у LB 1 CPU/128 MiB, PostgreSQL 2 CPU/1 GiB, RustFS 1 CPU/512 MiB, Valkey 0,5 CPU/128 MiB; reconciler 1 CPU/256 MiB. Условия cost-эксперимента отличаются и указаны отдельно. Слоты дополнены буферами HAProxy 64 KiB, максимумом TCP-буфера API 256 KiB и MALLOC_MMAP_THRESHOLD_=131072. S3 connect/read = 1/2 с, две попытки; запрос — 8 с, LB — 10 с простоя. Дедлайн продлевается переданными байтами при пороге 128 KiB/s, поэтому идущая передача может длиться дольше 8 с. LB не повторяет upload. Readiness проверяет PostgreSQL, но не S3: отказ хранилища изображений сохраняет текстовый путь.

Доступ к S3. Только LB публикует host-порты на loopback. RustFS в internal-сети, консоль выключена. s3-init повторяемо создаёт private bucket, политики/пользователей и lifecycle очистки незавершённых multipart. API получает только Get/Put/DeleteObject своего bucket, reconciler — отдельный ключ ListBucket/Get/DeleteObject; root-ключи есть лишь у s3, s3-init, s3-cli. s3-init/s3-cli — uid 65534, migrate/reconciler — init: true.

Критерий → команда → наблюдение → файл

Номера ниже — строки этого отчёта, а не дополнительная рубрика. F означает SHA 75b93bbba5f29575d3fca1d013cc7e0770d88082 до PNG-фиксов; S — исходную SQLAlchemy-серию, точный SHA команды находится в её raw. V — финальная validation на 5e49502ae78fa48b992c97418e490666c699726d, runtime идентичен прошедшему review 7a0ebac…. Новые команды и результаты дополняют сохранённые проверки.

Критерий Команда Наблюдение и применимость Файл
3.1 Минимум ЛР3 make test; student-tests/tools/forward_network.py; make lb-check; make retry-check F: smoke, отзыв сессий на двух репликах, NUL/Basic PASS; S: 20×8 запросов с одним ключом, одна копия; потерянный ответ и kill без дублей smoke, сеть, LB, retry
3.2 Метаданные отдельно от байтов, приватность, stateless API make attachments-evidence; make limits S: внешняя сверка размера/SHA, изображения не в БД/API; F: лимиты, сети, mounts и порты PASS размещение, лимиты
3.3 201 ready, сообщения, checksum, чужому 404 make test; make student-test F: PASS, включая реальные PostgreSQL/RustFS-тесты; V: smoke и 721 собственная проверка прошла (719 + адресный повтор 2 setup errors) smoke, 492 теста, V smoke
3.4 PNG/JPEG, 10 MiB/40 MP, MIME/filename make test-faults; make student-test PYTEST_ARGS='-q --tb=short student-tests/unit' F: граничные файлы, MIME/имена → 4xx; текущие offline-регрессии: оба PNG из ревью → 415, без записи. V: оба файла → 415 через LB, число строк/объектов неизменно; PNG/JPEG скачаны побайтно старый suite, 407 unit, регрессии, V PNG/JPEG
3.5 Upload → остановка принявшей реплики → download make scenario SCENARIO=failover-upload F: target exited, сосед running, SHA совпал, download через 2,762 с JSON
3.6 Restart с volumes и failover make persistence-evidence; make test-failover ACTION_SCRIPT=scripts/stop-one.sh F: данные/сессия сохранены; 130 записей, 0 ошибок, первая запись через 2,883 с persistence, failover
Отказ S3 make scenario SCENARIO=s3-outage F: upload/download 503 за 4,990/5,329 с; текст 201, метаданные/readiness 200; после возврата checksum равен JSON
4.1 Пользовательские ошибки файлов не дают 500 make test-faults; PNG ASGI-регрессии F: 112 ответов в журнале негативного suite, 0×5xx; битый zlib и повторный IHDR добавлены позднее. V: 7 stack PASS, включая оба PNG; 54 ответа негативного теста, 0×5xx stack, PNG, V suite
4.2 Компенсация, crash и безопасная уборка make test-faults; make overload-leftovers F: COMMIT fault → 503, строка/объект удалены; обе реплики убиты между PUT/COMMIT, свежие/ready сохранены. S: 30 pending убраны после реальных 900 с, 1669 ready/объектов совпали отказы, grace без сдвига времени
4.3 Ограниченная RAM, ≥10 загрузок make upload-memory ARGS='--slots 3 --out <новая-серия>' S: 36 точек; F: 3 точки, максимум 456,2 MiB, OOM 0, 238×201/2×503. V: 18 точек, 840/840×201, API ≤440 MiB, LB ≤31,1 MiB, OOM 0; 10×40 MP RGBA16 → 201, API ≤270,8 MiB S, F, V RAM
4.4 Bootstrap/IAM/закрытая консоль/private вне API make s3-check S: 31 PASS, anonymous GET 403, API ListBucket запрещён, повтор bootstrap ×2 неизменен; конфигурация не менялась сырой вывод
5.1 Внедрение, dry-run/apply/повтор, защита свежих и ссылок F: make reconcile-demo; V: python3 evidence/png-final-2026-11-06/concurrent-reconcile.py F: 13 PASS; 18 исправлений, повтор 0, ссылки сохранены; алгоритм не менялся. V: 3341×201 при 67 проходах, lost_ready=0, независимый SHA-аудит PASS demo, V load
5.2 Стоимость обхода make reconcile-cost ARGS='--out <новая-серия>' 27 замеров на 3402fd6…, 1k/10k/30k/100k; страницы и память подтверждены, линейное время отвергнуто методика, сырьё

Отказы: наблюдаемое время и потери

Основная таблица — F, проект hlpipe-lab4-forward-final-20261106. Времена — отдельные наблюдения, не SLA. Потерями считаются подтверждённые клиенту данные; намеренно повреждённые байты в demo отдельно отмечены. Состояния контейнеров сохранены в JSON/inspect и выводе хуков; неизвестные длительности не заменены нулём.

Воздействие / команда Реально затронутый контейнер или объект Наблюдение, время Потери / файл
scenario failover-upload API d4c8d53d7433 exited; da922ab2ea09 running Хук 2,734 с; download через 2,762 с от старта Байты совпали; JSON
test-failover API d4c8d53d7433, подтверждён exited 130 успешных записей, 0 failed_attempts; первая через 2,883 с Дубликатов/потерь не обнаружено; inspect и тест
persistence-evidence API ×2, LB ea6930f64089, PG 3f3a870d89c0, Valkey 07ea16e2fcfe, S3 5921e788f03d; StartedAt изменились Вся команда 13,179 с; это не точный интервал недоступности Однократное чтение после hook сохранило данные/сессию; до/после
scenario s3-outage S3 5921e788f03d exited 503: upload 4,990 с, download 5,329 с; healthy через 5,760 с после старта Готовый файл сохранился; текст 201; JSON
make test-faults, PostgreSQL stop Сервис postgres своего project; отдельного inspect в suite нет 503 за 0,002–0,015 с; готовность через 2,1 с после старта Прежний токен работает, 40 регистраций через 2 реплики без рестарта API; stack
make test-faults, Valkey stop Сервис valkey своего project; отдельного inspect в suite нет Живой токен 200 за 0,005 с; неизвестный 401 за 0,003 с; logout 503, после старта 204 Отзыв не потерян; время восстановления не измерено; stack
COMMIT fault после PUT Триггер в синтетическом сценарии 503; сразу строка отсутствует и HEAD 404; audit compensation Готовые не затронуты; stack
SIGKILL между PUT/COMMIT По очереди API da922ab2ea09, d4c8d53d7433 Клиент 502; pending + объект. После сдвига за grace удаление через 26,1/1,5 с Свежий остаток сохранён; ready в сообщении скачан с тем же SHA; stack
Обрыв / зависание тела 256 KiB из 5 MiB / 1 KiB Обрыв: 400 в журнале, нет intent; stall: 503 через 8,02 с Новых видимых вложений нет; stack
Реальное ожидание grace, серия S 30 pending: 27 после перегрузки, 3 после S3-outage Наблюдение 847,812 с уже существовавших остатков; возраст не меняли, grace 900 с 30 audit abandoned, затем 1669 ready = 1669 объектов; вывод
Reconciler demo, порча обеих сторон 3 orphan, 9 ready с потерянными/изменёнными байтами, 6 pending Apply: 18 действий; повтор 0; полный demo 256,6 с 9 ready и 6 ссылок сохранены, байты сами не восстанавливаются; demo
SIGTERM / S3 outage сверки Одноразовый reconciler; S3 paused / остановлен SIGTERM: 0,1 с, exit 143, lock освобождён; S3 outage: exit 1 за 2,32 с Состояние не изменилось при outage; demo

failover-upload.json содержит restored=false: сценарий сам не возвращал target; отдельный restore возвращает обе реплики. В конце фазы F все три её project остановлены, шесть постоянных volumes сохранены: shutdown-state. Отчётный этап Docker не использовал. Состояние финальной validation-фазы и сохранённые volumes зафиксированы отдельно в аудите.

Память и запись сообщений

Память S, до позднего переноса и PNG-фиксов. Два API по 1 CPU/512 MiB, два worker, LB 128 MiB, RustFS 1 CPU/512 MiB; 3/64 слота × PNG около 1/10 MiB × 10/20/40 клиентов, три повтора каждой точки. Клиент с macOS, keep-alive, по два upload; перед точкой API/LB пересоздаются для нового cgroup memory.peak. Пик включает процессы, page cache и сокеты; p95 учитывает только 201. На сохранённом снимке фона — только свой project. Методика и 36 raw-точек.

Конфигурация Ответы в 18 точках Максимум API OOM API/LB
3 слота 840/840 ×201 448,0 MiB 0
64 слота, исторический контроль 813×201, 27×503 513,7 MiB 0

Память F, тоже до PNG-фиксов. 40 клиентов, по два PNG 10 485 256 байт, 3 слота; три повтора дали 80/80/78 успешных ответов и 0/0/2 ответа 503. Пики API: 456,2/438,1/450,4 MiB, LB: 31,8/28,5/29,1 MiB, OOM 0; p95 3641,3/4755,0/8091,8 мс. Причина двух 503 отдельно не локализована; уборка их возможных остатков в этой серии не измерялась. Команды, фон и сырьё. Контроль 64/3 остаётся историческим; новый инспектор измерен отдельно в серии V ниже.

Память V, после обоих PNG-фиксов. На том же распределении ресурсов проведены ровно три новые серии штатных 3 слотов: ~1/10 MiB × 10/20/40 клиентов, два upload на клиента. Всего 18 точек, 840/840×201, ошибок/таймаутов/OOM-kill нет. Максимум API 440,0 MiB / 512 MiB, LB 31,1 MiB / 128 MiB. Команды, сырьё и фон, пересчёт.

PNG / клиенты Максимум API из 3 повторов, MiB p95 успешных: медиана [min–max], мс
~1 MiB / 10 279,8 241,0 [134,3–257,7]
~1 MiB / 20 284,5 243,8 [226,6–310,2]
~1 MiB / 40 290,4 373,4 [367,6–417,6]
~10 MiB / 10 394,8 1520,3 [1236,1–3287,8]
~10 MiB / 20 440,0 2632,8 [2514,0–3632,6]
~10 MiB / 40 439,2 5971,4 [4256,0–6534,9]

Дополнительный PNG 8000×5000 RGBA16: 311 100 байт на проводе, 320 005 000 байт распакованных строк. Перед нагрузкой файл независимо декодирован Pillow. 10 клиентов стартовали через barrier: 10×201, 10 побайтных скачиваний вторым участником, API ≤270,828 MiB, LB ≤24,2 MiB, OOM 0. Драйвер и raw. Это один сильно сжатый паттерн; он не представляет все PNG и не является SLO.

После нагрузок shallow-проверка: 859 ready = 859 объектов, ни pending, ни orphan, ни missing/size mismatch. SHA всех крупных объектов повторно не вычислялся. Сверка. На снимках фона — только свой project; macOS, частоты, диск и кэш физического хоста не контролировались.

Запись сообщений F. make load-evidence: публичный tests/load.py, закрытый контур, 64 клиента, 8 с, новый горячий чат на прогон, три повтора с паузой 15 с. Клиент-контейнер в edge-сети, 2 CPU/512 MiB; API ×2 по 1 CPU/512 MiB. На снимках до/после — только свой project, host load average 3,42→4,69. Физический хост не был выделен эксклюзивно.

Повтор RPS p95 успешных, мс Ошибок
1 1428,577 100,062 0
2 1456,338 98,948 0
3 1529,320 98,475 0

Медиана 1456,338 RPS, ошибок 0. Команда, сырые JSON, фон. Это характеристика данного распределения ресурсов и одного чата, не SLO или предел архитектуры. Относительно ранней SQLAlchemy-серии 1529,186 RPS разница −4,8%; причинное влияние исправления из непарных серий не следует. PNG-изменения не вызываются текстовым запросом.

Трек 2: согласованность двух хранилищ

make reconcile запускает python -m messenger.attachments.entrypoints.reconcile, по умолчанию dry-run; ARGS='--apply --deep' включает исправления и хеширование. Один проход сливает листинг S3 и keyset-страницы по object_key с индексом UNIQUE/COLLATE C. Алгоритм делает O(N) сравнений и хранит O(страница); это не обещание линейного времени RustFS. По умолчанию страница 1000, grace 3600 с + skew 60 с. Advisory lock разрешает один проход; второй возвращает skipped. Deep хеширует потоками 64 KiB, по умолчанию до восьми объектов.

Расхождение Безопасное действие --apply
Старый orphan Повторная проверка строки по ключу, затем удаление объекта; свежий не трогается
Старый pending Повторная проверка под FOR UPDATE SKIP LOCKED, объект раньше строки, audit reason=reconcile
Ready без объекта / другой размер / SHA Повторная проверка; карантин, без удаления ready и ссылок сообщений; /content → 404
Объект карантина восстановлен Снять карантин только после совпадения SHA-256, даже без --deep

Гипотезы до замеров — design на этапе SQLAlchemy, proposal 751aaed4b1baaa957c74bb8874adeb0eac4b0480: H1 — точное обнаружение/исправление, повтор 0 и сохранность свежих/используемых; H2 — shallow t(100k)/t(10k) в [7,13], страницы ceil(N/page), RSS растёт менее чем на 10%, deep на порядок дороже; H3 — после SQLAlchemy сохраняются страничность и ограниченная память. Отрицательный результат H2 не меняет исходную гипотезу.

Корректность F. На свежем отдельном project, grace 60/skew 0 внедрены ошибки обеих сторон. Dry-run не изменил 24 объекта/27 строк. Apply удалил 3 старых orphan и 6 pending, перевёл 9 ready в карантин; шесть audit-событий, все шесть ссылок сохранены. Повтор — 0 действий. Возврат исходных байтов снял один карантин без deep, подмена той же длины — не сняла. Всего 13 PASS; первичный demo. При 75 с параллельных upload: 3364×201, 59 проходов, lost_ready=0, независимая проверка SHA в check-under-load. Конкурентная загрузка V после PNG-фиксов: отдельный fresh project, 75 с / 3 потока, 3341/3341×201, 67 проходов, errors=0/skipped=0, lost_ready=0. Независимый deep-аудит проверил SHA всех 3341 ready; каждый десятый upload привязан к сообщению. Удалены только 3 внедрённых orphan. Команда, raw, SHA-аудит. На пустом dataset инъекция pending создала 0 строк (ей нужна существующая строка-владелец); этот сценарий повторно не доказан серией V и сохраняется из полного demo F. Затронутый PNG-путь и сохранность всех 201 проверены; остальной алгоритм не менялся. Повторную проверку строки перед удалением дополнительно покрывает test_row_written_after_listing_keeps_the_object: наблюдение fresh не подменяет этот барьер.

Стоимость на 3402fd69d4922e500035a204d957be2cccaeb85a. Свежий project hlpipe-lab4-cost-20261106; 1k/10k/30k/100k объектов и столько же ready-строк, PNG 8×8 по 264 B и один smoke-объект 111 817 B. Наполнение — четыре параллельных PUT и SQLAlchemy batch INSERT; измерение начинается после COMMIT и тихого окна, время наполнения исключено. API/LB/Valkey остановлены. RustFS 2 CPU/3 GiB, cpuset 11–12; PG 2 CPU/1 GiB, 13–14; CLI 1 CPU/256 MiB, 15. Это отдельная конфигурация, не штатные лимиты API-стенда.

Перед каждым повтором фильтр чужого CPU: ≤2 ядра VM и ≤0,25 на закреплённых, запас запуска 1,5/0,5 ядро·с; quiet 15 с, deadline 900 с, до трёх повторов отклонённой точки. Приняты 27, отклонённых 0; максимум чужого CPU 0,25 ядра, pinned 0. По три shallow/deep на каждом N и три page100 на 10k. Все raw с исходным SHA сохранены и пересчитаны при отчёте. Команда, полный протокол, план/фон/сырьё.

N Режим Медиана прохода [min–max], с LIST / SQL-страниц / GET RSS, MiB, медиана
1000 shallow 0,107 [0,105–0,113] 1 / 1 / 0 109,8
1000 deep 0,499 [0,498–0,536] 1 / 1 / 1000 110,2
10000 shallow 0,999 [0,996–1,077] 10 / 10 / 0 110,9
10000 deep 4,998 [4,972–5,041] 10 / 10 / 10000 111,3
10000 page100 2,037 [2,035–2,113] 100 / 100 / 0 107,9
30000 shallow 3,601 [3,567–3,633] 30 / 30 / 0 110,9
30000 deep 15,665 [15,630–15,779] 30 / 30 / 30000 111,6
100000 shallow 20,215 [20,206–21,335] 100 / 100 / 0 111,1
100000 deep 110,910 [58,661–147,215] 100 / 100 / 100000 111,4

SQL здесь считает запросы страниц, без служебных BEGIN/COMMIT/pre-ping/advisory lock; HEAD/DELETE=0 во всех точках. cost.seconds — сам проход, CPU/wall в raw включают старт CLI. H2 о времени отвергнута: t100k/t10k=20,235. На 100k листинг занимает медиану 19,538 с; внутренняя причина его удорожания не установлена. Deep дороже в 4,35–5,49 раза, не на порядок. Страницы точно ceil(N/page), shallow RSS 109,8→111,1 MiB (+1,18%): эти части H2 и H3 подтверждены в измеренной области. H1 подтверждена перечисленными сценариями на F.

Deep 100k: 147,215/110,910/58,661 с, разброс 79,84% медианы. Все повторы прошли заранее заданный фильтр; лучший не выбран вместо остальных. Один хост/VM, тёплые данные, частоты, диск и нагрузка macOS не контролировались. PNG 264 B не прогнозируют deep для 10 MiB, выше 100k измерений нет. Сравнение с историческим asyncpg — не причинный A/B-эксперимент. Сверка не восстанавливает утраченные байты и требует отдельного ручного/планового запуска.

Завершение финальной validation

Общий долг двух PNG-фиксов закрыт на V: API-тесты с PostgreSQL, upload faults через LB/RustFS, 18 точек штатной матрицы RAM, десять одновременных 40 MP RGBA16 и upload при сверке с независимым SHA-аудитом. Команды и сырые результаты — в аудите.

make student-test дал 719 PASS и 2 setup errors из-за неготового временного RustFS; адресный повтор только этих двух тестов прошёл. Таким образом, все 721 выбранная проверка исполнена успешно, первый полный запуск не объявляется зелёным. Отдельно 7 stack-тестов PASS. make check, make validate, make lint и OpenSpec strict (18) прошли. Реализация, конфиги, нормативные файлы и OpenSpec не менялись.

Принятые 27 cost-замеров и 3 повтора текстовой нагрузки сохранены с исходными SHA: повтор не требовался. Старые 64/3 и upload-memory до PNG-фиксов не используются для вывода о новом инспекторе. После Docker-этапа оба собственных project остановлены, шесть постоянных volumes сохранены; инвентаризация. Публикация — только после отдельной команды координатора PUBLICATION; push не выполнялся.

Ограничения

  • Minor, сохранён ревью: непарные Unicode-суррогаты U+D800/U+DFFF в text вызывают PydanticSerializationError в fingerprint() и HTTP 500. Файл schemas.py:35, HTTP-доказательство. Это дефект, не PASS; по правилу пользователя minor не требует fix и не блокирует этап.
  • Один Docker-host, по одному PostgreSQL/RustFS/LB — точки отказа; репликация и резервные копии байтов здесь не исследуются. При остановке всех API sweeper ждёт их возврата.
  • Тело upload ограничено, но хранится целиком; слоты защищают память ценой очереди. Два 503 в F сохранены без объяснения недоказанной причиной. В V все 840 запросов успешны при пике ≤440 MiB; это измеренная область 10–40 клиентов, не общий предел RAM и не обещание 100% успеха при любой нагрузке.
  • При неизвестном результате PUT/COMMIT остаток ждёт grace; потерянный ответ upload допускает повторное вложение, поскольку у этого endpoint нет Idempotency-Key.
  • После отправки заголовков сбой S3 при download может оборвать поток; слишком медленная передача и SIGTERM также ограничены таймаутами. Ранний отказ во время отправки большого тела клиент иногда увидит как reset. Сессия проверяется раньше объявленного размера.
  • В demo grace 60/skew 0, смещение часов не моделировалось; реальный grace API 900 с отдельно подтверждён старой серией S. Reconciler не восстанавливает повреждённые байты.
  • Нагрузка записи — закрытый контур и один чат, успешные latency имеют coordinated omission. Причинный эффект SQLAlchemy/исправлений и предел системы из этих чисел не выводятся.
  • Секреты — локальные файлы Compose вместо менеджера секретов; статические S3-ключи без исследованной ротации. TLS, presigned flow, брокер и варианты изображений вне этой лабы.
  • Исторические proposal add-lab4-image-attachments и add-lab4-upload-resilience превышают рекомендацию 400 слов; история не переписана. openspec/config.yaml сверён с текущим стеком, но в документационном этапе не редактировался по ограничению области работ.

Ответы на вопросы защиты

Почему volume одной API-реплики не равен объектному хранилищу? Другая реплика не обязана видеть её локальный volume. RustFS даёт всем репликам одно адресуемое ключами хранилище с политиками доступа; остановка принявшей API не удаляет оригинал. В F это показали разные X-Instance-Id и совпавший SHA-256 после остановки target.

Когда можно вернуть 201? После успешного PUT и COMMIT статуса ready. Pending уже зафиксирован до PUT, но не виден пользователям. Потерянный ответ после COMMIT возможен; это не позволяет заранее отвечать 201.

Что если S3 PUT прошёл, а COMMIT — нет? При известном отказе компенсация под блокировкой удаляет объект, затем pending. При падении процесса/неизвестном исходе это делает sweeper после grace. Уже ready не удаляется; независимые orphan и расхождения ищет reconciler.

Почему случайный key/private bucket не заменяют ACL? S3-ключ API разрешает доступ ко всему bucket и не знает членства пользователей в чатах. Поэтому каждый запрос метаданных/байтов проверяет членство; постороннему 404. Private bucket дополнительно закрывает прямой анонимный GET, но не принимает решение за приложение.

Для защиты: make test показывает upload→message→download и чужому 404; make s3-check — private вне API; persistence/failover — сохранность; make attachments-evidence — отсутствие локальных файлов API; сценарии уровней 4/5 — компенсацию, ограничения памяти и безопасную сверку. Следует показать исходный SHA каждого результата и новые доказательства PNG-инспектора из серии V.

Решение перенесено из собственной ЛР3. При реализации и подготовке отчёта использован Codex; автор работы — Костылев Артём. Нормативные README/COURSE/contracts/tests сохранены.