14 KiB
Исследование lab4: согласованность PostgreSQL и S3
Автор: Савин Александр, БВТ2303. Уровень 5, трек 2. Выполнено 6 ноября 2026 года на отдельном стенде lab4. Исходные данные находятся в evidence/, обязательные API-тесты не менялись.
Гипотеза
Если устойчивое намерение создаётся до S3 PUT, а uploader и reconciler используют одну область транзакционной блокировки, можно обнаруживать незавершённые операции и расхождения без удаления свежих, используемых или ещё записываемых объектов. Повторное применение к уже исправленному состоянию не должно создавать новых изменений.
Дополнительная гипотеза: стоимость полной сверки растёт приблизительно с числом объектов и метаданных, а не с размером каждого оригинала, поскольку сверка использует List/HEAD и не скачивает все байты.
Среда и методика
macOS/Colima, Linux arm64, Docker Engine 27.4.0, VM 4 vCPU/около 8 GB RAM. Версии и caps всех компонентов закреплены в compose.yaml, SDK — boto3 1.42.0. Исследовательский ops-контейнер: 1 CPU/512 MiB; обычный reconciler: 0.25 CPU/256 MiB, поэтому их абсолютное время не обязано совпадать. MinIO: 0.5 CPU/768 MiB, PostgreSQL: 1 CPU/512 MiB.
scripts/research_consistency_host.py временно останавливает штатный worker, запускает один изолированный эксперимент и восстанавливает worker в finally. Пользователи, чаты, файлы и fault fixtures синтетические. Прямые повреждения выполняются только исследовательским инструментом с доступом к двум хранилищам; HTTP-клиент не может включить failpoint.
Фазы опыта:
- Загрузить valid PNG и связать часть вложений с сообщениями.
- Удалить метаданные одного неиспользуемого вложения, оставив S3-объект: orphan.
- Запустить отдельный Python-процесс, который делает настоящий PUT и завершает себя os._exit(86) до ready COMMIT. Проверить pending и существующий объект.
- Создать pending без объекта, моделируя неуспешный PUT.
- Удалить объект используемого вложения; заменить другой объект неверным содержимым.
- Состарить DB timestamps, дождаться реального старения S3 timestamps. Использовать grace=5s только с явным разрешением для теста; штатный grace остаётся 300s.
- Создать свежие ready/orphan fixtures и удерживать общий advisory lock для старого объекта, моделируя активный uploader.
- Выполнить dry-run и сравнить состояния/наличие: мутаций быть не должно. Затем apply с повторной проверкой обеих сторон под lock.
- Повторить apply; восстановить потерянный оригинал с его SHA metadata и вернуть ready без изменения UUID/связей.
- Имитировать S3 503 и ошибку соединения PostgreSQL: проход должен завершиться ошибкой без вывода «объект отсутствует» и без изменения статусов.
В тесте перед отдельными sweep обновляется timestamp test-only fresh orphan, чтобы на начало каждого прохода он действительно был моложе grace. Заблокированный тестовый orphan удаляется оператором только после проверки его защиты. Это отличает проверку текущей свежести от обещания хранить неподтверждённый orphan бесконечно.
Обнаружение и исправление
| Действие | Количество в apply |
|---|---|
| abort_pending | 2 |
| corrupt_object | 1 |
| delete_orphan | 1 |
| missing_object | 1 |
Реальный fault-процесс завершился с кодом 86 после PUT. Последующий apply нашёл его pending и удалил объект после grace. Для исчезнувшего/повреждённого используемого вложения сохраняются метаданные и связи сообщений; меняется доступность, а не история. После восстановления исходного объекта действие restore_ready снова разрешило скачивание с тем же UUID.
| Проверка безопасности | Результат |
|---|---|
| fresh_orphan_preserved | True |
| fresh_ready_preserved | True |
| used_ready_preserved | True |
| active_lock_preserved | True |
| missing_metadata_and_links_retained | True |
| dry_run_no_mutation | True |
| second_apply_actions | 0 |
Повторный apply не предложил новых действий. Это относится к уже исправленному тестовому состоянию; при появлении новых объектов/ошибок следующий проход закономерно может выполнить новые действия. Ошибки зависимостей в отдельной проверке не изменили статусы. Реальные остановки MinIO/PostgreSQL дополнительно проверены в evidence/dependency-outages.json.
Стоимость обхода
К существующему фиксированному набору метаданных добавлялись 0, 50, 200 S3-объектов без метаданных. Это отдельные известные test-only ключи. Перед нулевой группой базовые timestamps выдерживаются за пределами тестового grace; после создания каждой следующей группы также выдерживается grace. Для каждого размера выполнено три dry-run, затем известные дополнительные ключи удалены. Порядок размеров возрастающий, кэш не сбрасывался.
Время измеряется time.monotonic внутри инструмента; запуск контейнера, подготовка fixtures и ожидание grace не входят в elapsed. Исходные отдельные результаты: reconciliation.json → scan_cost_runs. В таблице среднее/выборочное стандартное отклонение, не доверительный интервал.
| Дополнительных orphan | Объектов S3 | Метаданных | Время, мс: mean ± SD | min–max, мс | List / HEAD вызовов |
|---|---|---|---|---|---|
| 0 | 65 | 65 | 160.59 ± 10.962 | 151.176–172.625 | 1 / 130 |
| 50 | 115 | 65 | 259.99 ± 62.361 | 219.672–331.819 | 1 / 180 |
| 200 | 265 | 65 | 579.413 ± 113.494 | 460.906–687.121 | 2 / 330 |
При росте набора увеличиваются число point-checks и время. Список S3 и DB-метаданные читаются страницами по 200, подробный журнал ограничен 1000 действиями; остальные учитываются счётчиками. Алгоритм делает O(N+M) обход при N объектах и M подходящих метаданных, с индексированными DB point lookups. Полный SHA-аудит bytes сюда не входит: HEAD сравнивает размер и записанный uploader-ом sha256 metadata. Результат не доказывает предельную производительность хранилища или точную линейность на миллионах объектов.
Эксперимент уровня 4: память при параллельной загрузке
Десять клиентов одновременно стартуют по barrier, два раунда для каждого из двух размеров. Генератор находится внутри Compose-сети и идёт через LB. Каждая загрузка проверяет 201/ready, размер и SHA-256; один оригинал каждой фазы скачивается вторым участником и сравнивается побайтно.
Изображения — реальные синтетические RGB PNG, однотонные, сохранены без сжатия (compress_level=0), чтобы получить воспроизводимый большой файл. Это профиль передачи/памяти, а не worst-case для времени сложного JPEG/PNG-декодирования. Payload создаётся один раз на фазу и разделяется клиентскими потоками.
В каждом API cgroup memory.current читается раз в 50ms. Измерение включает page cache, kernel charges и небольшой Python sampler; это не RSS/heap-профиль. Пики — максимумы samples внутри фазы, не математическая гарантия отсутствия краткого пропущенного пика. В raw traces отдельно есть lifetime memory.peak, который включает более ранние операции. Лимит каждой API — 512 MiB, активных upload slots=2, decoder=1.
| Файл, байт | Размер, MiB | Успешных загрузок | Ошибок | p50 / p95 / p99, мс | Пики API 1 / API 2, MiB |
|---|---|---|---|---|---|
| 787271 | 0.751 | 20 | 0 | 102.767 / 176.198 / 183.16 | 91.094 / 91.312 |
| 7081758 | 6.754 | 20 | 0 | 617.87 / 832.535 / 896.355 | 124.629 / 146.086 |
Все 40 запросов прошли, в каждой фазе наблюдались две настоящие API. Измеренные пики ниже лимита. Это подтверждает выбранный профиль ≥10 конкурентных загрузок, но не доказывает пик для всех изображений вплоть до 40 млн пикселей или для одновременных массовых логинов Argon2id.
Воспроизведение
./scripts/bootstrap.sh
./scripts/compose.sh up -d --build
python3 scripts/wait_ready.py --base-url http://localhost:8084
export BASE_URL=http://localhost:8084
make research-consistency
make research-memory
make test-dependencies
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-research.txt
.venv/bin/python scripts/plot_research.py
python3 scripts/summarize_research.py
Методика добавляет синтетические данные; не удаляет volumes. Известные дополнительные cost/orphan fixtures очищаются точечно. Готовые вложения и сообщения остаются, поскольку обязательный API не включает delete. Повтор может иметь другой размер baseline, поэтому реальные N/M сохраняются в каждой строке.
Вывод и границы
Гипотеза подтверждена в заявленной модели: durable intent, grace и общие object locks позволяют корректно обработать проверенные разрывы между двумя хранилищами; dry-run наблюдаем, apply повторяем, свежие/используемые/активные объекты защищены. Штатный worker запускает ту же логику с grace=300s.
Восстановление утраченных bytes требует внешней копии; reconciler не заменяет backup. При потере всей БД, произвольных действиях root или нарушении инварианта неизменяемых ключей нужны отдельные процедуры восстановления. Метаданные являются авторитетом для классификации orphan. Локальные три коротких повтора на небольшом наборе и тёплом кэше не дают универсального SLA; стоимость штатного worker с меньшей CPU-квотой может отличаться от ops. Нет заявления о высокой доступности S3/БД, полной побайтовой проверке всех объектов или производственном zero-downtime.

