16 KiB
Лабораторная 4 — приватное S3 и согласованность
Парамонов Глеб, БВТ2301. Целевая оценка: 5, трек 2 «Согласованность двух хранилищ».
Ветка: solution/bvt2301-paramonov. Основа — собственная реализация ЛР3.
Воспроизводимый запуск
Нужны Docker Engine и Compose v2, Python 3.12+ для управляющих скриптов.
На Windows используется Docker Desktop/WSL2; команды Python запускать с -X utf8.
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait
python -m venv .venv
# Linux: .venv/bin/python; Windows: .venv/Scripts/python.exe
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-test.txt
.venv/bin/python -X utf8 scripts/check_contract.py
.venv/bin/python -X utf8 scripts/verify_stack.py
.venv/bin/python -X utf8 scripts/reconciliation_experiment.py
docker compose down
bootstrap.py создаёт локальные .env, .env.api, .env.storage-admin и
secrets/s3.json. Значения случайны, не выводятся, исключены из Git и build context.
Повтор сохраняет существующую конфигурацию, неполную конфигурацию не перезаписывает.
API получает только учётные данные для originals/* в messenger, storage-init —
отдельные административные. PostgreSQL и bucket создаются автоматически; миграции
проверяют checksum и сериализуются advisory lock. storage-init допускает повтор.
down сохраняет volumes; docker compose down -v намеренно удаляет учебную БД и
файлы, применять только при осознанном полном сбросе стенда.
Все образы закреплены digest в Compose/Dockerfile: Python 3.12.15, PostgreSQL 17.11,
Valkey 8.1, HAProxy 3.0, SeaweedFS 4.48. Используется публичное зеркало официальных
образов mirror.gcr.io, поскольку Docker Hub недоступен из среды выполнения.
Python-пакеты закреплены в requirements.txt.
Архитектура и границы сохранности
Клиент → HAProxy → 2 API → PostgreSQL (ACL, метаданные, сообщения) и SeaweedFS S3
(неизменённые оригиналы). Valkey ускоряет профиль, действительность сессии всегда
проверяется в PostgreSQL. Общая транзакционная идемпотентность сообщений на 24 часа,
keyset pagination и ограничения ЛР3 сохранены. Отсутствующий attachment_ids и []
имеют одинаковый хеш запроса. Каждое вложение принадлежит одному чату; внешний
пользователь получает 404 и для metadata, и для bytes. Object key назначает сервер.
Перед чтением тела проверяются сессия/ACL/filename/MIME. Тело потоково записывается
во временный файл до 10 MiB; Pillow проверяет формат, целостность и лимит 40M pixels
до декодирования. JPEG дополнительно полностью декодируется: одного verify()
недостаточно для обнаружения обрезанного entropy stream. SHA-256 вычисляется по
исходным байтам; авторизованное скачивание идёт через API порциями 64 KiB.
API удерживает транзакционный advisory lock object key, выполняет PUT, затем INSERT метаданных и COMMIT. 201 возвращается только после обоих сохранений. Нет общей транзакции PostgreSQL/S3: ошибка COMMIT может оставить orphan. Нельзя безусловно удалять объект при неоднозначном COMMIT — запись могла сохраниться. Reconciler позже перепроверяет БД под тем же lock и удаляет только доказанный старый orphan.
Отдельный reconciler запускает apply каждые 60 секунд с grace 600 секунд.
Одноразовая команда по умолчанию dry-run:
docker compose exec api python -m src.reconcile
docker compose exec api python -m src.reconcile --apply
Порог нельзя уменьшить ниже 60 секунд. Свежие объекты пропускаются; при занятом lock
объект пропускается. Перед удалением снова читаются metadata и HEAD/LastModified.
Любой объект с metadata сохраняется, в том числе ещё не прикреплённый к сообщению.
Обход metadata — keyset страницами по 100; S3 — paginator. Missing/неверный размер
или checksum metadata переводит запись в карантин missing (API 503), сохраняя
ссылки. Восстановление из backup требует совпадения настоящих байтов SHA-256/размера,
после чего reconciler возвращает ready. 403/timeout S3 не трактуется как отсутствие.
Потерянные байты без backup автоматически восстановить невозможно.
Ограничение ресурсов и приватность
Каждый API: 0.5 CPU, 512 MiB, tmpfs 32 MiB, не root, read-only rootfs, drop ALL caps. На реплику одновременно 2 uploads, 1 decoder, 4 downloads, всего 32 запроса; при занятых upload slots — явный 503, автоматических повторов upload на сервере нет. Блокирующий decoder/PUT при отмене завершается до освобождения permit/закрытия файла: отмена coroutine не умеет останавливать Python thread. Socket timeout S3 2/4 секунды, одна попытка; HTTP deadline 30 секунд, LB 32/35, graceful shutdown API 32/35 секунд. Отмена может дождаться ограниченной по входным данным операции; это не hard real-time. PostgreSQL 1 CPU/256 MiB, S3 1 CPU/512 MiB, reconciler 0.25 CPU/192 MiB.
На хост опубликован только LB 127.0.0.1:8080. S3 доступен только внутри bridge,
master/filer/volume SeaweedFS привязаны к loopback внутри контейнера, административной
консоли снаружи нет. Anonymous identity отсутствует, public bucket policy запрещена
bootstrap. Readiness зависит от PG и S3; cache необязателен. Это консервативный выбор:
при отказе S3 LB может временно убрать API и для текстовых запросов.
Готовность S3 проверяется чтением постоянного контрольного объекта
originals/.storage-health. Один LIST/HEAD недостаточен: filer metadata может
стать доступен до регистрации volume server после restart. Этот зарезервированный
служебный объект исключён из orphan cleanup. Внутренний LevelDB filer и master state
проверены в /data/filerldb2 и /data/m9333, на том же постоянном S3 volume.
Проверки и исследование
Прогоны выполнены 16.10.2026 на реальных контейнерах. Основной набор:
python -X utf8 scripts/verify_stack.py; исследование:
python -X utf8 scripts/reconciliation_experiment.py.
| Критерий | Наблюдение | Доказательство |
|---|---|---|
| Минимум ЛР3, файлы и ACL | public smoke PASS; чужой metadata/content/upload — 404; ссылки другого чата/несуществующие — 404 | evidence/integration.json |
| Границы upload | размер/пиксели 413; повреждение/MIME 415; path/control filename 400 | negative_uploads в integration.json |
| Отключение загрузившей реплики | получены те же bytes с другим X-Instance-Id | upload_then_stop_download |
| Приватность и минимальные права | anonymous GET, создание чужого bucket, запись вне prefix — 403 | private_bucket |
| Прерывание upload | после закрытия сокета число metadata не изменилось | interrupted_upload |
| Отказ S3 | 503; после восстановления bootstrap повторяем | s3_down_status, bootstrap_repeat |
| Restart всего стенда | public persistence PASS; новые StartedAt API/PG/cache/LB/S3/reconciler, volumes сохранены | evidence/restart-processes.json |
| Failover | 97 успешных записей, 2 временные неудачи, восстановление за 4.390 с от начала hook; подтверждения/bytes сохранены | public_failover, evidence/stop-one.json |
| 10 одновременных uploads | все завершились, SHA-256 совпали; лимиты явно отказали в лишних попытках | concurrent_uploads |
| PUT прошёл, DB INSERT упал | PG trigger SQLSTATE 40001: HTTP 503, 0 metadata, 1 новый orphan | evidence/reconciliation.json |
| Missing и безопасное восстановление | dry-run без изменения; apply → missing/503; восстановление bytes + проверка SHA → ready | missing_dry_run, missing_quarantined, restored_from_fixture |
| Grace, используемые файлы и повтор | свежий orphan сохранён; старый удалён; используемый файл сохранён; повтор apply без действий | aged_orphan_*, repeat_noop |
| Отмена blocking обработки | файл не закрывается и permit не освобождается до завершения thread | python -m unittest discover -s checks -v |
В нагрузке использованы 10 PNG по 8 104 028 байт, barrier запускает 10 клиентов одновременно. Все 10 приняты за 3.839–5.971 с с учётом ожидания/повторов; 55 HTTP попыток: 10 ответов 201 и 45 явных 503. Повтор после 503 выполняет только тестовый клиент с ограниченным числом попыток; это не exactly-once гарантия upload. VmHWM двух API после нагрузки: 143744 и 132828 KiB (140.38 и 129.71 MiB), до нагрузки 128148 и 119040 KiB. Это максимум RSS процесса за его жизнь, не чистая дельта одной операции и не весь container cache/tmpfs. Обновлённый сценарий также сохраняет cgroup memory.peak/events для чистого проверочного прогона. Один небольшой прогон не доказывает отсутствие всех возможных OOM при любом файле; границы admission, bytes/pixels, decoder и container memory действуют независимо от этого измерения.
Гипотеза: lock + grace + повторная сверка устраняют orphan после разрыва PUT/COMMIT, не удаляя свежие/используемые файлы; missing можно безопасно скрыть и вернуть после проверенного восстановления. Эксперимент создаёт собственные синтетические данные, одноразовый PG trigger только для уникального filename, 200 реальных пар S3/metadata, удаляет один тестовый объект, сравнивает dry-run/apply/repeat и ждёт настоящий grace. Нагрузка: 10 одновременных HTTP uploads примерно 8.1 MB PNG с фиксированными границами повторов только на явный 503; проверяются все checksum и VmHWM каждой API-реплики.
Результат исследования: обход 221 metadata / 223–224 S3 objects занимал 1.431–2.530 с в последовательных dry-run/apply/restore/repeat проходах. В эксперименте реальный интервал от создания orphan до итоговой проверки — 90.562 с при grace 60 с. Старый orphan удалён, новый orphan и используемые файлы сохранены; после исправлений repeat за 1.989 с не предложил действий. Также обнаружен и удалён orphan от прерванного предварительного запуска: Windows ограничил длину командной строки с fixture. Сценарий исправлен на передачу кода через stdin; объекты не были скрыты/обнулены для получения результата. Данные в evidence/reconciliation.json. Стоимость примерно линейна числу объектов/метаданных; приведён диапазон реальных проходов с разными действиями, а не статистически независимый benchmark. На большом bucket понадобится разбиение по prefix и контроль частоты; grace и locks сохраняются.
Ограничения и источники
Локальный компьютер: Windows 10, i5-11400H, 8 GB RAM; WSL2 3 GB RAM/4 CPU/4 GB swap. Одиночные PG/S3/LB и один host остаются SPOF. Persistent volume переживает restart, но не потерю диска. Listing/HEAD имеют линейную стоимость; результаты локального стенда не являются SLA. Retention не удаляет пользовательские вложения автоматически.
При реализации, запуске, исследовании и подготовке отчёта использован OpenAI Codex. Публичные контракты и tests преподавателя не изменялись. Основные источники: SeaweedFS, S3 uploads, Pillow Image, PostgreSQL advisory locks.