49 KiB
Отчёт — лабораторная 4 «S3-хранилище и вложения»
Автор: Костылев Артём, БПИ2303. Ветка: solution/bpi2303-kostylev.
Цель — «5», трек 2 «Согласованность двух хранилищ (reconciler)».
Финальная validation завершена 2026-11-06 на
5e49502ae78fa48b992c97418e490666c699726d: runtime совпадает с прошедшим независимое
ревью 7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4. Динамический долг обоих PNG-фиксов
закрыт, открытых major не выявлено; известный minor сохранён в ограничениях.
Заявлена «5», трек 2, с отрицательным результатом гипотезы о линейном времени.
Аудит применимости объясняет, какие старые серии приняты
без повторения и какие проверки выполнены заново. Публикация ещё не разрешена.
Происхождение и применимость доказательств
| Состояние кода | SHA | Что подтверждено и что сохраняется |
|---|---|---|
| Перенос основы ЛР3 на SQLAlchemy/Alembic | 8e4532f6f5c05d902b6e2c310f54320d95585904, источник f591fa64e525679a31c9db7f942d36c789e1a12f |
Полная серия уровней 3/4; историческая относительно поздних исправлений |
| Стоимость reconciler | 3402fd69d4922e500035a204d957be2cccaeb85a |
27 пригодных замеров: измеряемый обход, SQL/S3-адаптеры, зависимости и стенд не менялись; сохраняются с исходным SHA |
| Поздние исправления ЛР3 | 75b93bbba5f29575d3fca1d013cc7e0770d88082, источник ba78cf6da439a4ec60fd59389583b38285b0b2b1 |
Сессии, NUL/Basic, JSON ошибок LB; 492 теста, 19 stack-тестов, отказы и новые серии. Все 214 путей диапазона учтены в манифесте переноса |
| Декодируемость PNG | 9387c3d82ab77ea376eecce19a36a22803d35efb |
Битый IDAT с корректными CRC отклоняется; offline-доказательства |
| Единый IHDR | 7c8a1a64899dc0a1b5fa0949c0992ef40722eacf, архив/ревью 7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4 |
Повторный IHDR отклоняется; 407 offline-тестов. Манифест совпадает с текущими семью файлами |
После 75b93bb… в runtime изменились только images.py и новый png.py зоны attachments.
Поэтому старые upload-memory и загрузки во время сверки не доказывают память и скорость
нового инспектора. Результаты текстового пути, скачивания, persistence/failover, IAM/bootstrap
сохраняются для неизменённых механизмов; это не повторные прогоны на текущем HEAD.
Серия asyncpg 29–30 октября вынесена из основных таблиц в
исторический индекс.
Индекс evidence связывает команды, SHA и файлы. Аудит отчётного этапа содержит проверки исходных чисел, ссылок и границ изменений. Сырые результаты не редактировались.
Запуск из чистого clone
Нужны Git, Docker Compose v2, make, uv и Python 3.14 для приложения/собственных тестов;
публичным проверкам достаточно системного Python 3.9+. Из основного репозитория можно
создать свежий clone под разрешённым каталогом .verification/:
git clone --no-hardlinks --branch solution/bpi2303-kostylev . .verification/hlpipe-lab4-defense
cd .verification/hlpipe-lab4-defense
export COMPOSE_PROJECT_NAME=hlpipe-lab4-defense
export COMPOSE_FILE=compose.yaml
export LB_HTTP_PORT=18084 LB_STATS_PORT=24845
export BASE_URL=http://127.0.0.1:18084
export NO_PROXY=localhost,127.0.0.1,::1
export no_proxy=localhost,127.0.0.1,::1
make secrets
docker compose --env-file .env config --quiet
make up
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose ps -a
make restore
make scenario SCENARIO=failover-upload
make restore
make scenario SCENARIO=s3-outage
make s3-check
make reconcile
make migrate
make down
Имя clone/project должно быть новым; порт 18084 должен быть свободен. Занявший его чужой
стенд не останавливается. make secrets создаёт локальные файлы и не перезаписывает
существующие; содержимое секретов выводить не нужно. make up ждёт PostgreSQL/Valkey/RustFS,
alembic upgrade head, bootstrap bucket и обе API-реплики в ротации LB. Повторный make migrate
не меняет актуальную схему. make down сохраняет постоянные volumes; reset-data, down -v
и удаление пользовательских данных в этом процессе не используются.
Сохранённое воспроизведение из свежего clone: 76,866 с, exit 0, SHA
cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e, проект hlpipe-lab4-clean-20261105231220.
Smoke, persistence, failover, upload→stop→download, S3-outage, 31 проверка S3, dry-run и
повторная миграция прошли; после down остались три volumes.
Полная команда и вывод.
Это запуск до позднего переноса и PNG-фиксов, а не доказательство запуска нынешнего SHA.
Проверки исходников выполняются отдельно:
make install
make check
make validate
make lint
make student-test
openspec validate --all --strict --no-interactive
make student-test использует одноразовые Docker-зависимости. На отчётном этапе выполнены
только check/validate/lint/OpenSpec и чтение сохранённых доказательств; тесты с Docker и
нагрузки не запускались. Сохранённые полные 492 теста относятся к 75b93bb…, а 407 unit-тестов
после PNG-фиксов — к 7c8a1a6…; складывать эти числа в число тестов одного прогона нельзя.
Архитектура и решения
клиент → HAProxy :18084 → API ×2, по 2 UvicornWorker
├→ PostgreSQL: метаданные, сессии, сообщения
├→ Valkey: кэш сессий
└→ RustFS: байты оригиналов
migrate → PostgreSQL; s3-init → private bucket и IAM
reconciler → PostgreSQL + RustFS, одноразовый сервис
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka, Pydantic v2, structlog, SQLAlchemy 2.0.45 async, asyncpg как драйвер, Alembic 1.16.5, aiobotocore и Pillow 13.0.0. Версии зависимостей закреплены в uv.lock, правила форматирования — пробелы в pyproject.toml. Образы закреплены digest в compose.yaml: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, rc 0.1.36.
Зоны identity, messaging, attachments содержат домен, прикладные порты и адаптеры;
shared — платформу, main.py — сборку. Межзонная проверка членства идёт через порт
ChatMembership, не через импорт инфраструктуры соседней зоны. Pydantic остаётся на HTTP-границе,
ORM-модели DeclarativeBase — внутри зон. Сессии создаёт async_sessionmaker; UoW получает
свою AsyncSession на транзакцию и явно делает COMMIT. Незавершённая транзакция откатывается
при закрытии сессии. SQL строится ORM/Core с параметрами; asyncpg не используется как
отдельный прикладной слой запросов. Отправка сообщения — Core CTE под блокировкой строки чата:
квитанция Idempotency-Key, сообщение и ссылки на вложения фиксируются вместе.
Alembic env.py использует async engine и run_sync, advisory lock и
транзакции миграций. Ревизии: 0001 — базовая схема, 0002 — ключи идемпотентности,
0003 — вложения/связи, 0004 — карантин. Legacy-схема принимается только после сверки
журнала и каталога в legacy.py; произвольный stamp вместо миграции не применяется.
При подготовке отчёта через Context7 сверены закреплённые версии:
SQLAlchemy, сессии,
Alembic, async migrations.
Источники истины. PostgreSQL хранит владельца/чат, имя, MIME, размер, SHA-256, размеры
изображения, статус, object key и ссылки сообщений. Байты — только в приватном RustFS,
ключ attachments/<uuid> назначает сервер. API read-only, без data volumes; /tmp — tmpfs.
attachments.object_key имеет UNIQUE и COLLATE "C"; частичный индекс pending обслуживает
уборку; FK message_attachments (attachment_id, chat_id) не даёт привязать чужой чат или
удалить используемое вложение. История использует keyset (created_at, id).
Upload. Сначала аутентификация (401), объявленный размер (413), членство (404),
filename (400), MIME (415). Поток ограничен 10 485 760 байтами и считается также без
Content-Length; SHA-256 вычисляется при чтении. Тело собирается в ограниченный буфер под
UPLOAD_CONCURRENCY=3 на worker; две проверки изображений на worker работают в потоках.
Лимит 40 млн пикселей проверяется до распаковки. PNG требует единственный первый IHDR,
проверку CRC и потоковую проверку zlib/Adler-32, длины строк и фильтров, включая Adam7.
Дополнительные блоки распаковки — по 64 KiB, полного массива пикселей нет. JPEG проверяется
через draft 1/8 и load. Ошибка изображения → 415 до намерения в БД/S3.
Оба PNG из ревью отклоняются с 415 в ASGI-регрессиях и через настоящий LB/RustFS.
После двух запросов число строк/объектов осталось 7/7; корректные PNG/JPEG скачаны
вторым участником побайтно: финальная сверка.
Порядок публикации: INSERT pending + COMMIT → PUT → UPDATE ready + COMMIT → 201.
Метаданные и скачивание доступны только участникам чата; чужой и неизвестный id дают 404.
Скачивание идёт через API кусками 64 KiB, с исходными байтами и истинным MIME, без redirect.
attachment_ids присутствует во всех ответах сообщений, отсутствие и [] дают один fingerprint.
Компенсация. После отказа фиксации ready новая транзакция блокирует строку FOR UPDATE:
ready не трогается; у pending удаляется объект, затем строка. При отмене/неизвестном исходе
PUT намерение остаётся для уборки. Sweeper раз в 30 с выбирает до 100 pending старше 900 с
через FOR UPDATE SKIP LOCKED, удаляет объект раньше строки и публикует
audit.attachment_discarded. Готовые и используемые вложения не выбираются.
Ресурсы и отказы. У API 1 CPU/512 MiB на реплику, у LB 1 CPU/128 MiB,
PostgreSQL 2 CPU/1 GiB, RustFS 1 CPU/512 MiB, Valkey 0,5 CPU/128 MiB;
reconciler 1 CPU/256 MiB. Условия cost-эксперимента отличаются и указаны отдельно.
Слоты дополнены буферами HAProxy 64 KiB, максимумом TCP-буфера API 256 KiB и
MALLOC_MMAP_THRESHOLD_=131072. S3 connect/read = 1/2 с, две попытки; запрос — 8 с,
LB — 10 с простоя. Дедлайн продлевается переданными байтами при пороге 128 KiB/s,
поэтому идущая передача может длиться дольше 8 с. LB не повторяет upload.
Readiness проверяет PostgreSQL, но не S3: отказ хранилища изображений сохраняет текстовый путь.
Доступ к S3. Только LB публикует host-порты на loopback. RustFS в internal-сети,
консоль выключена. s3-init повторяемо создаёт private bucket, политики/пользователей и
lifecycle очистки незавершённых multipart. API получает только Get/Put/DeleteObject своего
bucket, reconciler — отдельный ключ ListBucket/Get/DeleteObject; root-ключи есть лишь у
s3, s3-init, s3-cli. s3-init/s3-cli — uid 65534, migrate/reconciler — init: true.
Критерий → команда → наблюдение → файл
Номера ниже — строки этого отчёта, а не дополнительная рубрика. F означает SHA
75b93bbba5f29575d3fca1d013cc7e0770d88082 до PNG-фиксов; S — исходную SQLAlchemy-серию,
точный SHA команды находится в её raw. V — финальная validation на
5e49502ae78fa48b992c97418e490666c699726d, runtime идентичен прошедшему review 7a0ebac….
Новые команды и результаты дополняют сохранённые проверки.
| Критерий | Команда | Наблюдение и применимость | Файл |
|---|---|---|---|
| 3.1 Минимум ЛР3 | make test; student-tests/tools/forward_network.py; make lb-check; make retry-check |
F: smoke, отзыв сессий на двух репликах, NUL/Basic PASS; S: 20×8 запросов с одним ключом, одна копия; потерянный ответ и kill без дублей | smoke, сеть, LB, retry |
| 3.2 Метаданные отдельно от байтов, приватность, stateless API | make attachments-evidence; make limits |
S: внешняя сверка размера/SHA, изображения не в БД/API; F: лимиты, сети, mounts и порты PASS | размещение, лимиты |
3.3 201 ready, сообщения, checksum, чужому 404 |
make test; make student-test |
F: PASS, включая реальные PostgreSQL/RustFS-тесты; V: smoke и 721 собственная проверка прошла (719 + адресный повтор 2 setup errors) | smoke, 492 теста, V smoke |
| 3.4 PNG/JPEG, 10 MiB/40 MP, MIME/filename | make test-faults; make student-test PYTEST_ARGS='-q --tb=short student-tests/unit' |
F: граничные файлы, MIME/имена → 4xx; текущие offline-регрессии: оба PNG из ревью → 415, без записи. V: оба файла → 415 через LB, число строк/объектов неизменно; PNG/JPEG скачаны побайтно | старый suite, 407 unit, регрессии, V PNG/JPEG |
| 3.5 Upload → остановка принявшей реплики → download | make scenario SCENARIO=failover-upload |
F: target exited, сосед running, SHA совпал, download через 2,762 с | JSON |
| 3.6 Restart с volumes и failover | make persistence-evidence; make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
F: данные/сессия сохранены; 130 записей, 0 ошибок, первая запись через 2,883 с | persistence, failover |
| Отказ S3 | make scenario SCENARIO=s3-outage |
F: upload/download 503 за 4,990/5,329 с; текст 201, метаданные/readiness 200; после возврата checksum равен | JSON |
| 4.1 Пользовательские ошибки файлов не дают 500 | make test-faults; PNG ASGI-регрессии |
F: 112 ответов в журнале негативного suite, 0×5xx; битый zlib и повторный IHDR добавлены позднее. V: 7 stack PASS, включая оба PNG; 54 ответа негативного теста, 0×5xx | stack, PNG, V suite |
| 4.2 Компенсация, crash и безопасная уборка | make test-faults; make overload-leftovers |
F: COMMIT fault → 503, строка/объект удалены; обе реплики убиты между PUT/COMMIT, свежие/ready сохранены. S: 30 pending убраны после реальных 900 с, 1669 ready/объектов совпали | отказы, grace без сдвига времени |
| 4.3 Ограниченная RAM, ≥10 загрузок | make upload-memory ARGS='--slots 3 --out <новая-серия>' |
S: 36 точек; F: 3 точки, максимум 456,2 MiB, OOM 0, 238×201/2×503. V: 18 точек, 840/840×201, API ≤440 MiB, LB ≤31,1 MiB, OOM 0; 10×40 MP RGBA16 → 201, API ≤270,8 MiB | S, F, V RAM |
| 4.4 Bootstrap/IAM/закрытая консоль/private вне API | make s3-check |
S: 31 PASS, anonymous GET 403, API ListBucket запрещён, повтор bootstrap ×2 неизменен; конфигурация не менялась | сырой вывод |
| 5.1 Внедрение, dry-run/apply/повтор, защита свежих и ссылок | F: make reconcile-demo; V: python3 evidence/png-final-2026-11-06/concurrent-reconcile.py |
F: 13 PASS; 18 исправлений, повтор 0, ссылки сохранены; алгоритм не менялся. V: 3341×201 при 67 проходах, lost_ready=0, независимый SHA-аудит PASS | demo, V load |
| 5.2 Стоимость обхода | make reconcile-cost ARGS='--out <новая-серия>' |
27 замеров на 3402fd6…, 1k/10k/30k/100k; страницы и память подтверждены, линейное время отвергнуто |
методика, сырьё |
Отказы: наблюдаемое время и потери
Основная таблица — F, проект hlpipe-lab4-forward-final-20261106.
Времена — отдельные наблюдения, не SLA. Потерями считаются подтверждённые клиенту данные;
намеренно повреждённые байты в demo отдельно отмечены. Состояния контейнеров сохранены
в JSON/inspect и выводе хуков; неизвестные длительности не заменены нулём.
| Воздействие / команда | Реально затронутый контейнер или объект | Наблюдение, время | Потери / файл |
|---|---|---|---|
scenario failover-upload |
API d4c8d53d7433 exited; da922ab2ea09 running |
Хук 2,734 с; download через 2,762 с от старта | Байты совпали; JSON |
test-failover |
API d4c8d53d7433, подтверждён exited |
130 успешных записей, 0 failed_attempts; первая через 2,883 с | Дубликатов/потерь не обнаружено; inspect и тест |
persistence-evidence |
API ×2, LB ea6930f64089, PG 3f3a870d89c0, Valkey 07ea16e2fcfe, S3 5921e788f03d; StartedAt изменились |
Вся команда 13,179 с; это не точный интервал недоступности | Однократное чтение после hook сохранило данные/сессию; до/после |
scenario s3-outage |
S3 5921e788f03d exited |
503: upload 4,990 с, download 5,329 с; healthy через 5,760 с после старта | Готовый файл сохранился; текст 201; JSON |
make test-faults, PostgreSQL stop |
Сервис postgres своего project; отдельного inspect в suite нет | 503 за 0,002–0,015 с; готовность через 2,1 с после старта | Прежний токен работает, 40 регистраций через 2 реплики без рестарта API; stack |
make test-faults, Valkey stop |
Сервис valkey своего project; отдельного inspect в suite нет | Живой токен 200 за 0,005 с; неизвестный 401 за 0,003 с; logout 503, после старта 204 | Отзыв не потерян; время восстановления не измерено; stack |
| COMMIT fault после PUT | Триггер в синтетическом сценарии | 503; сразу строка отсутствует и HEAD 404; audit compensation | Готовые не затронуты; stack |
| SIGKILL между PUT/COMMIT | По очереди API da922ab2ea09, d4c8d53d7433 |
Клиент 502; pending + объект. После сдвига за grace удаление через 26,1/1,5 с | Свежий остаток сохранён; ready в сообщении скачан с тем же SHA; stack |
| Обрыв / зависание тела | 256 KiB из 5 MiB / 1 KiB | Обрыв: 400 в журнале, нет intent; stall: 503 через 8,02 с | Новых видимых вложений нет; stack |
| Реальное ожидание grace, серия S | 30 pending: 27 после перегрузки, 3 после S3-outage | Наблюдение 847,812 с уже существовавших остатков; возраст не меняли, grace 900 с | 30 audit abandoned, затем 1669 ready = 1669 объектов; вывод |
| Reconciler demo, порча обеих сторон | 3 orphan, 9 ready с потерянными/изменёнными байтами, 6 pending | Apply: 18 действий; повтор 0; полный demo 256,6 с | 9 ready и 6 ссылок сохранены, байты сами не восстанавливаются; demo |
| SIGTERM / S3 outage сверки | Одноразовый reconciler; S3 paused / остановлен | SIGTERM: 0,1 с, exit 143, lock освобождён; S3 outage: exit 1 за 2,32 с | Состояние не изменилось при outage; demo |
failover-upload.json содержит restored=false: сценарий сам не возвращал target;
отдельный restore возвращает обе реплики.
В конце фазы F все три её project остановлены, шесть постоянных volumes сохранены:
shutdown-state.
Отчётный этап Docker не использовал. Состояние финальной validation-фазы и сохранённые
volumes зафиксированы отдельно в аудите.
Память и запись сообщений
Память S, до позднего переноса и PNG-фиксов. Два API по 1 CPU/512 MiB, два worker,
LB 128 MiB, RustFS 1 CPU/512 MiB; 3/64 слота × PNG около 1/10 MiB × 10/20/40 клиентов,
три повтора каждой точки. Клиент с macOS, keep-alive, по два upload; перед точкой API/LB
пересоздаются для нового cgroup memory.peak. Пик включает процессы, page cache и сокеты;
p95 учитывает только 201. На сохранённом снимке фона — только свой project.
Методика и 36 raw-точек.
| Конфигурация | Ответы в 18 точках | Максимум API | OOM API/LB |
|---|---|---|---|
| 3 слота | 840/840 ×201 | 448,0 MiB | 0 |
| 64 слота, исторический контроль | 813×201, 27×503 | 513,7 MiB | 0 |
Память F, тоже до PNG-фиксов. 40 клиентов, по два PNG 10 485 256 байт, 3 слота; три повтора дали 80/80/78 успешных ответов и 0/0/2 ответа 503. Пики API: 456,2/438,1/450,4 MiB, LB: 31,8/28,5/29,1 MiB, OOM 0; p95 3641,3/4755,0/8091,8 мс. Причина двух 503 отдельно не локализована; уборка их возможных остатков в этой серии не измерялась. Команды, фон и сырьё. Контроль 64/3 остаётся историческим; новый инспектор измерен отдельно в серии V ниже.
Память V, после обоих PNG-фиксов. На том же распределении ресурсов проведены ровно три новые серии штатных 3 слотов: ~1/10 MiB × 10/20/40 клиентов, два upload на клиента. Всего 18 точек, 840/840×201, ошибок/таймаутов/OOM-kill нет. Максимум API 440,0 MiB / 512 MiB, LB 31,1 MiB / 128 MiB. Команды, сырьё и фон, пересчёт.
| PNG / клиенты | Максимум API из 3 повторов, MiB | p95 успешных: медиана [min–max], мс |
|---|---|---|
| ~1 MiB / 10 | 279,8 | 241,0 [134,3–257,7] |
| ~1 MiB / 20 | 284,5 | 243,8 [226,6–310,2] |
| ~1 MiB / 40 | 290,4 | 373,4 [367,6–417,6] |
| ~10 MiB / 10 | 394,8 | 1520,3 [1236,1–3287,8] |
| ~10 MiB / 20 | 440,0 | 2632,8 [2514,0–3632,6] |
| ~10 MiB / 40 | 439,2 | 5971,4 [4256,0–6534,9] |
Дополнительный PNG 8000×5000 RGBA16: 311 100 байт на проводе, 320 005 000 байт распакованных строк. Перед нагрузкой файл независимо декодирован Pillow. 10 клиентов стартовали через barrier: 10×201, 10 побайтных скачиваний вторым участником, API ≤270,828 MiB, LB ≤24,2 MiB, OOM 0. Драйвер и raw. Это один сильно сжатый паттерн; он не представляет все PNG и не является SLO.
После нагрузок shallow-проверка: 859 ready = 859 объектов, ни pending, ни orphan, ни missing/size mismatch. SHA всех крупных объектов повторно не вычислялся. Сверка. На снимках фона — только свой project; macOS, частоты, диск и кэш физического хоста не контролировались.
Запись сообщений F. make load-evidence: публичный tests/load.py, закрытый контур,
64 клиента, 8 с, новый горячий чат на прогон, три повтора с паузой 15 с. Клиент-контейнер
в edge-сети, 2 CPU/512 MiB; API ×2 по 1 CPU/512 MiB. На снимках до/после — только свой
project, host load average 3,42→4,69. Физический хост не был выделен эксклюзивно.
| Повтор | RPS | p95 успешных, мс | Ошибок |
|---|---|---|---|
| 1 | 1428,577 | 100,062 | 0 |
| 2 | 1456,338 | 98,948 | 0 |
| 3 | 1529,320 | 98,475 | 0 |
Медиана 1456,338 RPS, ошибок 0. Команда, сырые JSON, фон. Это характеристика данного распределения ресурсов и одного чата, не SLO или предел архитектуры. Относительно ранней SQLAlchemy-серии 1529,186 RPS разница −4,8%; причинное влияние исправления из непарных серий не следует. PNG-изменения не вызываются текстовым запросом.
Трек 2: согласованность двух хранилищ
make reconcile запускает python -m messenger.attachments.entrypoints.reconcile,
по умолчанию dry-run; ARGS='--apply --deep' включает исправления и хеширование.
Один проход сливает листинг S3 и keyset-страницы по object_key с индексом UNIQUE/COLLATE C.
Алгоритм делает O(N) сравнений и хранит O(страница); это не обещание линейного времени RustFS.
По умолчанию страница 1000, grace 3600 с + skew 60 с. Advisory lock разрешает один проход;
второй возвращает skipped. Deep хеширует потоками 64 KiB, по умолчанию до восьми объектов.
| Расхождение | Безопасное действие --apply |
|---|---|
| Старый orphan | Повторная проверка строки по ключу, затем удаление объекта; свежий не трогается |
| Старый pending | Повторная проверка под FOR UPDATE SKIP LOCKED, объект раньше строки, audit reason=reconcile |
| Ready без объекта / другой размер / SHA | Повторная проверка; карантин, без удаления ready и ссылок сообщений; /content → 404 |
| Объект карантина восстановлен | Снять карантин только после совпадения SHA-256, даже без --deep |
Гипотезы до замеров — design на этапе SQLAlchemy,
proposal 751aaed4b1baaa957c74bb8874adeb0eac4b0480:
H1 — точное обнаружение/исправление, повтор 0 и сохранность свежих/используемых;
H2 — shallow t(100k)/t(10k) в [7,13], страницы ceil(N/page), RSS растёт менее чем на 10%,
deep на порядок дороже; H3 — после SQLAlchemy сохраняются страничность и ограниченная память.
Отрицательный результат H2 не меняет исходную гипотезу.
Корректность F. На свежем отдельном project, grace 60/skew 0 внедрены ошибки обеих сторон.
Dry-run не изменил 24 объекта/27 строк. Apply удалил 3 старых orphan и 6 pending, перевёл
9 ready в карантин; шесть audit-событий, все шесть ссылок сохранены. Повтор — 0 действий.
Возврат исходных байтов снял один карантин без deep, подмена той же длины — не сняла.
Всего 13 PASS; первичный demo.
При 75 с параллельных upload: 3364×201, 59 проходов, lost_ready=0, независимая проверка SHA
в check-under-load.
Конкурентная загрузка V после PNG-фиксов: отдельный fresh project, 75 с / 3 потока,
3341/3341×201, 67 проходов, errors=0/skipped=0, lost_ready=0. Независимый deep-аудит
проверил SHA всех 3341 ready; каждый десятый upload привязан к сообщению. Удалены только
3 внедрённых orphan. Команда,
raw,
SHA-аудит.
На пустом dataset инъекция pending создала 0 строк (ей нужна существующая строка-владелец);
этот сценарий повторно не доказан серией V и сохраняется из полного demo F.
Затронутый PNG-путь и сохранность всех 201 проверены; остальной алгоритм не менялся.
Повторную проверку строки перед удалением дополнительно покрывает
test_row_written_after_listing_keeps_the_object: наблюдение fresh не подменяет этот барьер.
Стоимость на 3402fd69d4922e500035a204d957be2cccaeb85a. Свежий project
hlpipe-lab4-cost-20261106; 1k/10k/30k/100k объектов и столько же ready-строк, PNG 8×8 по 264 B
и один smoke-объект 111 817 B. Наполнение — четыре параллельных PUT и SQLAlchemy batch INSERT;
измерение начинается после COMMIT и тихого окна, время наполнения исключено.
API/LB/Valkey остановлены. RustFS 2 CPU/3 GiB, cpuset 11–12; PG 2 CPU/1 GiB, 13–14;
CLI 1 CPU/256 MiB, 15. Это отдельная конфигурация, не штатные лимиты API-стенда.
Перед каждым повтором фильтр чужого CPU: ≤2 ядра VM и ≤0,25 на закреплённых, запас запуска 1,5/0,5 ядро·с; quiet 15 с, deadline 900 с, до трёх повторов отклонённой точки. Приняты 27, отклонённых 0; максимум чужого CPU 0,25 ядра, pinned 0. По три shallow/deep на каждом N и три page100 на 10k. Все raw с исходным SHA сохранены и пересчитаны при отчёте. Команда, полный протокол, план/фон/сырьё.
| N | Режим | Медиана прохода [min–max], с | LIST / SQL-страниц / GET | RSS, MiB, медиана |
|---|---|---|---|---|
| 1000 | shallow | 0,107 [0,105–0,113] | 1 / 1 / 0 | 109,8 |
| 1000 | deep | 0,499 [0,498–0,536] | 1 / 1 / 1000 | 110,2 |
| 10000 | shallow | 0,999 [0,996–1,077] | 10 / 10 / 0 | 110,9 |
| 10000 | deep | 4,998 [4,972–5,041] | 10 / 10 / 10000 | 111,3 |
| 10000 | page100 | 2,037 [2,035–2,113] | 100 / 100 / 0 | 107,9 |
| 30000 | shallow | 3,601 [3,567–3,633] | 30 / 30 / 0 | 110,9 |
| 30000 | deep | 15,665 [15,630–15,779] | 30 / 30 / 30000 | 111,6 |
| 100000 | shallow | 20,215 [20,206–21,335] | 100 / 100 / 0 | 111,1 |
| 100000 | deep | 110,910 [58,661–147,215] | 100 / 100 / 100000 | 111,4 |
SQL здесь считает запросы страниц, без служебных BEGIN/COMMIT/pre-ping/advisory lock;
HEAD/DELETE=0 во всех точках. cost.seconds — сам проход, CPU/wall в raw включают старт CLI.
H2 о времени отвергнута: t100k/t10k=20,235. На 100k листинг занимает медиану 19,538 с;
внутренняя причина его удорожания не установлена. Deep дороже в 4,35–5,49 раза, не на порядок.
Страницы точно ceil(N/page), shallow RSS 109,8→111,1 MiB (+1,18%): эти части H2 и H3
подтверждены в измеренной области. H1 подтверждена перечисленными сценариями на F.
Deep 100k: 147,215/110,910/58,661 с, разброс 79,84% медианы. Все повторы прошли заранее заданный фильтр; лучший не выбран вместо остальных. Один хост/VM, тёплые данные, частоты, диск и нагрузка macOS не контролировались. PNG 264 B не прогнозируют deep для 10 MiB, выше 100k измерений нет. Сравнение с историческим asyncpg — не причинный A/B-эксперимент. Сверка не восстанавливает утраченные байты и требует отдельного ручного/планового запуска.
Завершение финальной validation
Общий долг двух PNG-фиксов закрыт на V: API-тесты с PostgreSQL, upload faults через LB/RustFS, 18 точек штатной матрицы RAM, десять одновременных 40 MP RGBA16 и upload при сверке с независимым SHA-аудитом. Команды и сырые результаты — в аудите.
make student-test дал 719 PASS и 2 setup errors из-за неготового временного RustFS;
адресный повтор только этих двух тестов прошёл. Таким образом, все 721 выбранная
проверка исполнена успешно, первый полный запуск не объявляется зелёным. Отдельно
7 stack-тестов PASS. make check, make validate, make lint и OpenSpec strict (18)
прошли. Реализация, конфиги, нормативные файлы и OpenSpec не менялись.
Принятые 27 cost-замеров и 3 повтора текстовой нагрузки сохранены с исходными SHA: повтор не требовался. Старые 64/3 и upload-memory до PNG-фиксов не используются для вывода о новом инспекторе. После Docker-этапа оба собственных project остановлены, шесть постоянных volumes сохранены; инвентаризация. Публикация — только после отдельной команды координатора PUBLICATION; push не выполнялся.
Ограничения
- Minor, сохранён ревью: непарные Unicode-суррогаты U+D800/U+DFFF в
textвызываютPydanticSerializationErrorвfingerprint()и HTTP 500. Файл schemas.py:35, HTTP-доказательство. Это дефект, не PASS; по правилу пользователя minor не требует fix и не блокирует этап. - Один Docker-host, по одному PostgreSQL/RustFS/LB — точки отказа; репликация и резервные копии байтов здесь не исследуются. При остановке всех API sweeper ждёт их возврата.
- Тело upload ограничено, но хранится целиком; слоты защищают память ценой очереди. Два 503 в F сохранены без объяснения недоказанной причиной. В V все 840 запросов успешны при пике ≤440 MiB; это измеренная область 10–40 клиентов, не общий предел RAM и не обещание 100% успеха при любой нагрузке.
- При неизвестном результате PUT/COMMIT остаток ждёт grace; потерянный ответ upload допускает повторное вложение, поскольку у этого endpoint нет Idempotency-Key.
- После отправки заголовков сбой S3 при download может оборвать поток; слишком медленная передача и SIGTERM также ограничены таймаутами. Ранний отказ во время отправки большого тела клиент иногда увидит как reset. Сессия проверяется раньше объявленного размера.
- В demo grace 60/skew 0, смещение часов не моделировалось; реальный grace API 900 с отдельно подтверждён старой серией S. Reconciler не восстанавливает повреждённые байты.
- Нагрузка записи — закрытый контур и один чат, успешные latency имеют coordinated omission. Причинный эффект SQLAlchemy/исправлений и предел системы из этих чисел не выводятся.
- Секреты — локальные файлы Compose вместо менеджера секретов; статические S3-ключи без исследованной ротации. TLS, presigned flow, брокер и варианты изображений вне этой лабы.
- Исторические proposal
add-lab4-image-attachmentsиadd-lab4-upload-resilienceпревышают рекомендацию 400 слов; история не переписана.openspec/config.yamlсверён с текущим стеком, но в документационном этапе не редактировался по ограничению области работ.
Ответы на вопросы защиты
Почему volume одной API-реплики не равен объектному хранилищу? Другая реплика не обязана
видеть её локальный volume. RustFS даёт всем репликам одно адресуемое ключами хранилище
с политиками доступа; остановка принявшей API не удаляет оригинал. В F это показали
разные X-Instance-Id и совпавший SHA-256 после остановки target.
Когда можно вернуть 201? После успешного PUT и COMMIT статуса ready. Pending уже зафиксирован до PUT, но не виден пользователям. Потерянный ответ после COMMIT возможен; это не позволяет заранее отвечать 201.
Что если S3 PUT прошёл, а COMMIT — нет? При известном отказе компенсация под блокировкой удаляет объект, затем pending. При падении процесса/неизвестном исходе это делает sweeper после grace. Уже ready не удаляется; независимые orphan и расхождения ищет reconciler.
Почему случайный key/private bucket не заменяют ACL? S3-ключ API разрешает доступ ко всему bucket и не знает членства пользователей в чатах. Поэтому каждый запрос метаданных/байтов проверяет членство; постороннему 404. Private bucket дополнительно закрывает прямой анонимный GET, но не принимает решение за приложение.
Для защиты: make test показывает upload→message→download и чужому 404;
make s3-check — private вне API; persistence/failover — сохранность;
make attachments-evidence — отсутствие локальных файлов API; сценарии уровней 4/5 —
компенсацию, ограничения памяти и безопасную сверку. Следует показать исходный SHA каждого
результата и новые доказательства PNG-инспектора из серии V.
Решение перенесено из собственной ЛР3. При реализации и подготовке отчёта использован Codex; автор работы — Костылев Артём. Нормативные README/COURSE/contracts/tests сохранены.