Files
mtusi2026lab4/REPORT.md
T

16 KiB
Raw Blame History

Лабораторная 4 — приватное S3 и согласованность

Парамонов Глеб, БВТ2301. Целевая оценка: 5, трек 2 «Согласованность двух хранилищ». Ветка: solution/bvt2301-paramonov. Основа — собственная реализация ЛР3.

Воспроизводимый запуск

Нужны Docker Engine и Compose v2, Python 3.12+ для управляющих скриптов. На Windows используется Docker Desktop/WSL2; команды Python запускать с -X utf8.

python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait
python -m venv .venv
# Linux: .venv/bin/python; Windows: .venv/Scripts/python.exe
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-test.txt
.venv/bin/python -X utf8 scripts/check_contract.py
.venv/bin/python -X utf8 scripts/verify_stack.py
.venv/bin/python -X utf8 scripts/reconciliation_experiment.py
docker compose down

bootstrap.py создаёт локальные .env, .env.api, .env.storage-admin и secrets/s3.json. Значения случайны, не выводятся, исключены из Git и build context. Повтор сохраняет существующую конфигурацию, неполную конфигурацию не перезаписывает. API получает только учётные данные для originals/* в messenger, storage-init — отдельные административные. PostgreSQL и bucket создаются автоматически; миграции проверяют checksum и сериализуются advisory lock. storage-init допускает повтор. down сохраняет volumes; docker compose down -v намеренно удаляет учебную БД и файлы, применять только при осознанном полном сбросе стенда.

Все образы закреплены digest в Compose/Dockerfile: Python 3.12.15, PostgreSQL 17.11, Valkey 8.1, HAProxy 3.0, SeaweedFS 4.48. Используется публичное зеркало официальных образов mirror.gcr.io, поскольку Docker Hub недоступен из среды выполнения. Python-пакеты закреплены в requirements.txt.

Архитектура и границы сохранности

Клиент → HAProxy → 2 API → PostgreSQL (ACL, метаданные, сообщения) и SeaweedFS S3 (неизменённые оригиналы). Valkey ускоряет профиль, действительность сессии всегда проверяется в PostgreSQL. Общая транзакционная идемпотентность сообщений на 24 часа, keyset pagination и ограничения ЛР3 сохранены. Отсутствующий attachment_ids и [] имеют одинаковый хеш запроса. Каждое вложение принадлежит одному чату; внешний пользователь получает 404 и для metadata, и для bytes. Object key назначает сервер.

Перед чтением тела проверяются сессия/ACL/filename/MIME. Тело потоково записывается во временный файл до 10 MiB; Pillow проверяет формат, целостность и лимит 40M pixels до декодирования. JPEG дополнительно полностью декодируется: одного verify() недостаточно для обнаружения обрезанного entropy stream. SHA-256 вычисляется по исходным байтам; авторизованное скачивание идёт через API порциями 64 KiB.

API удерживает транзакционный advisory lock object key, выполняет PUT, затем INSERT метаданных и COMMIT. 201 возвращается только после обоих сохранений. Нет общей транзакции PostgreSQL/S3: ошибка COMMIT может оставить orphan. Нельзя безусловно удалять объект при неоднозначном COMMIT — запись могла сохраниться. Reconciler позже перепроверяет БД под тем же lock и удаляет только доказанный старый orphan.

Отдельный reconciler запускает apply каждые 60 секунд с grace 600 секунд. Одноразовая команда по умолчанию dry-run:

docker compose exec api python -m src.reconcile
docker compose exec api python -m src.reconcile --apply

Порог нельзя уменьшить ниже 60 секунд. Свежие объекты пропускаются; при занятом lock объект пропускается. Перед удалением снова читаются metadata и HEAD/LastModified. Любой объект с metadata сохраняется, в том числе ещё не прикреплённый к сообщению. Обход metadata — keyset страницами по 100; S3 — paginator. Missing/неверный размер или checksum metadata переводит запись в карантин missing (API 503), сохраняя ссылки. Восстановление из backup требует совпадения настоящих байтов SHA-256/размера, после чего reconciler возвращает ready. 403/timeout S3 не трактуется как отсутствие. Потерянные байты без backup автоматически восстановить невозможно.

Ограничение ресурсов и приватность

Каждый API: 0.5 CPU, 512 MiB, tmpfs 32 MiB, не root, read-only rootfs, drop ALL caps. На реплику одновременно 2 uploads, 1 decoder, 4 downloads, всего 32 запроса; при занятых upload slots — явный 503, автоматических повторов upload на сервере нет. Блокирующий decoder/PUT при отмене завершается до освобождения permit/закрытия файла: отмена coroutine не умеет останавливать Python thread. Socket timeout S3 2/4 секунды, одна попытка; HTTP deadline 30 секунд, LB 32/35, graceful shutdown API 32/35 секунд. Отмена может дождаться ограниченной по входным данным операции; это не hard real-time. PostgreSQL 1 CPU/256 MiB, S3 1 CPU/512 MiB, reconciler 0.25 CPU/192 MiB.

На хост опубликован только LB 127.0.0.1:8080. S3 доступен только внутри bridge, master/filer/volume SeaweedFS привязаны к loopback внутри контейнера, административной консоли снаружи нет. Anonymous identity отсутствует, public bucket policy запрещена bootstrap. Readiness зависит от PG и S3; cache необязателен. Это консервативный выбор: при отказе S3 LB может временно убрать API и для текстовых запросов.

Готовность S3 проверяется чтением постоянного контрольного объекта originals/.storage-health. Один LIST/HEAD недостаточен: filer metadata может стать доступен до регистрации volume server после restart. Этот зарезервированный служебный объект исключён из orphan cleanup. Внутренний LevelDB filer и master state проверены в /data/filerldb2 и /data/m9333, на том же постоянном S3 volume.

Проверки и исследование

Прогоны выполнены 16.10.2026 на реальных контейнерах. Основной набор: python -X utf8 scripts/verify_stack.py; исследование: python -X utf8 scripts/reconciliation_experiment.py.

Критерий Наблюдение Доказательство
Минимум ЛР3, файлы и ACL public smoke PASS; чужой metadata/content/upload — 404; ссылки другого чата/несуществующие — 404 evidence/integration.json
Границы upload размер/пиксели 413; повреждение/MIME 415; path/control filename 400 negative_uploads в integration.json
Отключение загрузившей реплики получены те же bytes с другим X-Instance-Id upload_then_stop_download
Приватность и минимальные права anonymous GET, создание чужого bucket, запись вне prefix — 403 private_bucket
Прерывание upload после закрытия сокета число metadata не изменилось interrupted_upload
Отказ S3 503; после восстановления bootstrap повторяем s3_down_status, bootstrap_repeat
Restart всего стенда public persistence PASS; новые StartedAt API/PG/cache/LB/S3/reconciler, volumes сохранены evidence/restart-processes.json
Failover 97 успешных записей, 2 временные неудачи, восстановление за 4.390 с от начала hook; подтверждения/bytes сохранены public_failover, evidence/stop-one.json
10 одновременных uploads все завершились, SHA-256 совпали; лимиты явно отказали в лишних попытках concurrent_uploads
PUT прошёл, DB INSERT упал PG trigger SQLSTATE 40001: HTTP 503, 0 metadata, 1 новый orphan evidence/reconciliation.json
Missing и безопасное восстановление dry-run без изменения; apply → missing/503; восстановление bytes + проверка SHA → ready missing_dry_run, missing_quarantined, restored_from_fixture
Grace, используемые файлы и повтор свежий orphan сохранён; старый удалён; используемый файл сохранён; повтор apply без действий aged_orphan_*, repeat_noop
Отмена blocking обработки файл не закрывается и permit не освобождается до завершения thread python -m unittest discover -s checks -v

В нагрузке использованы 10 PNG по 8 104 028 байт, barrier запускает 10 клиентов одновременно. Все 10 приняты за 3.839–5.971 с с учётом ожидания/повторов; 55 HTTP попыток: 10 ответов 201 и 45 явных 503. Повтор после 503 выполняет только тестовый клиент с ограниченным числом попыток; это не exactly-once гарантия upload. VmHWM двух API после нагрузки: 143744 и 132828 KiB (140.38 и 129.71 MiB), до нагрузки 128148 и 119040 KiB. Это максимум RSS процесса за его жизнь, не чистая дельта одной операции и не весь container cache/tmpfs. Обновлённый сценарий также сохраняет cgroup memory.peak/events для чистого проверочного прогона. Один небольшой прогон не доказывает отсутствие всех возможных OOM при любом файле; границы admission, bytes/pixels, decoder и container memory действуют независимо от этого измерения.

Гипотеза: lock + grace + повторная сверка устраняют orphan после разрыва PUT/COMMIT, не удаляя свежие/используемые файлы; missing можно безопасно скрыть и вернуть после проверенного восстановления. Эксперимент создаёт собственные синтетические данные, одноразовый PG trigger только для уникального filename, 200 реальных пар S3/metadata, удаляет один тестовый объект, сравнивает dry-run/apply/repeat и ждёт настоящий grace. Нагрузка: 10 одновременных HTTP uploads примерно 8.1 MB PNG с фиксированными границами повторов только на явный 503; проверяются все checksum и VmHWM каждой API-реплики.

Результат исследования: обход 221 metadata / 223–224 S3 objects занимал 1.431–2.530 с в последовательных dry-run/apply/restore/repeat проходах. В эксперименте реальный интервал от создания orphan до итоговой проверки — 90.562 с при grace 60 с. Старый orphan удалён, новый orphan и используемые файлы сохранены; после исправлений repeat за 1.989 с не предложил действий. Также обнаружен и удалён orphan от прерванного предварительного запуска: Windows ограничил длину командной строки с fixture. Сценарий исправлен на передачу кода через stdin; объекты не были скрыты/обнулены для получения результата. Данные в evidence/reconciliation.json. Стоимость примерно линейна числу объектов/метаданных; приведён диапазон реальных проходов с разными действиями, а не статистически независимый benchmark. На большом bucket понадобится разбиение по prefix и контроль частоты; grace и locks сохраняются.

Ограничения и источники

Локальный компьютер: Windows 10, i5-11400H, 8 GB RAM; WSL2 3 GB RAM/4 CPU/4 GB swap. Одиночные PG/S3/LB и один host остаются SPOF. Persistent volume переживает restart, но не потерю диска. Listing/HEAD имеют линейную стоимость; результаты локального стенда не являются SLA. Retention не удаляет пользовательские вложения автоматически.

При реализации, запуске, исследовании и подготовке отчёта использован OpenAI Codex. Публичные контракты и tests преподавателя не изменялись. Основные источники: SeaweedFS, S3 uploads, Pillow Image, PostgreSQL advisory locks.