Files
mtusi2026lab4/REPORT.md
T

12 KiB
Raw Blame History

Лабораторная 4 — Маслов, БВТ2301

Цель — 5, трек 2: согласованность PostgreSQL и S3. Основа — собственная реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL, keyset pagination, общий Idempotency-Key, HAProxy и две независимые API. Добавлены приватный S3, вложения и повторяемый reconciler.

Публикация и окончательные результаты будут внесены после проверок. Сейчас завершены реализация и статические проверки; runtime-доказательства ещё собираются. Этот промежуточный статус не является заявлением PASS.

Запуск из чистого clone

Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv. Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host). Первичная компиляция MinIO/клиента требует сеть и время; Go parallelism ограничен двумя потоками, зависимости и компилятор используют BuildKit cache.

uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint PYTHON=.venv/bin/python
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json

bootstrap создаёт отсутствующие .env/secret files, существующие сохраняет. Secret directory имеет mode 0700; files читаются непривилегированными UID контейнеров через read-only mounts. Их значения не должны попадать в Git. Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy и переносит повторный запуск. После этого две API, reconciler и LB.

URL стенда: http://127.0.0.1:8084. API/S3/PG/cache не имеют host ports. Безопасная остановка: docker compose down (volumes остаются). Намеренное удаление данных только текущего учебного проекта: docker compose down --volumes; это не обычный restart.

# Dry-run: без изменений
docker compose run --rm --no-deps reconciler python -m src.reconcile
# Оператор явно разрешает изменения
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
# Реальные рестарты всех state services, с прежними volumes
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084

Не запускать fault scripts параллельно друг с другом или HTTP pytest: они намеренно останавливают реальные сервисы и временно устанавливают PostgreSQL triggers. Все их пользователи/картинки синтетические. Evidence filename должен быть новым, предыдущие результаты сохраняются.

Версии и ограничения ресурсов

Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile: Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3, HAProxy 3.2.1 alpine. MinIO собирается из commit 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a, release 2025-10-15T17-29-55Z; mc — из 7394ce0dd2a80935aded936b09fa12cbb3cb8096 (2025-08-13). Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы. Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.

Процесс CPU RAM
Каждая из двух API 0.5 768 MiB
PostgreSQL 1 512 MiB
MinIO 1 1024 MiB
Valkey 0.25 128 MiB
HAProxy 0.5 128 MiB
Reconciler 0.25 256 MiB

API: read-only root, UID 10001, no capabilities, no-new-privileges, 128 PIDs, bounded /tmp tmpfs 128 MiB. At most two uploads/process, одна декодируемая картинка/process. Spooled file после 1 MiB переносится в tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат содержимого, фактический decode, filename; SHA-256 считается на входе. S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget 4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не прерывает нативный decode, поэтому существенны также pixel/RAM limits. Download передаёт chunks 64 KiB с закрытием S3 connection.

.env.example: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/ SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose; endpoint s3:9000, region us-east-1, bucket messenger, byte/pixel limits и 24 h idempotency заданы сервером. Это фиксированные параметры реализации, логические подсказки skeleton не делают их автоматически настраиваемыми. Сессии — PostgreSQL; Valkey хранит только disposable user cache.

Архитектура и критерии

Подробные переходы и схема: SCHEMA.md. src/attachments.py коммитит pending intent до PUT, затем ready; 201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет. Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.

Таблица наблюдений и ссылки на evidence будут заполнены после выполнения storage, cluster, HTTP и clean-clone проверок.

Методика исследования

Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой исправлять окна отказов PG/S3 без удаления свежих/используемых bytes. Полный обход имеет линейную стоимость по числу объектов и metadata.

scripts/verify_storage.py --research: реальные отказы INSERT/ready UPDATE через временные PG triggers, недоступность S3, abort HTTP, отсутствие используемого оригинала, old orphan и fresh orphan. Объект orphan реально стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply. Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run на одном стенде, без warmup, последовательно по возрастанию; учитываются objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода, не измерение максимальной пропускной способности S3. Dataset создаётся под уникальным test prefix и удаляется только в своей области.

10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat до/после. Duration/RPS включают downloads и sampler; latency — upload only. memory.peak может включать прежние запросы, поэтому отдельно показан максимум memory.current в окне. Небольшая серия не является production SLA.

Вопросы защиты

Почему volume API не равно S3? Volume принадлежит контейнеру/host и сам по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и независимый lifecycle. В этой реализации у API вообще нет persistent volume; другая реплика читает общий S3 по metadata PostgreSQL.

Когда можно вернуть 201? После фактической проверки изображения, успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать 201. Клиент может потерять ответ после успешной записи; upload не имеет Idempotency-Key, поэтому слепой повтор может создать другое вложение.

PUT прошёл, COMMIT не прошёл? Уже есть durable pending intent. После grace reconciler проверяет размер/checksum и переводит в ready. При отсутствующих/других bytes ставит internal failed. Очищать файл вслепую при неизвестном результате COMMIT опасно. Восстановление уже пропавших bytes только из checksum невозможно.

Почему случайный key/private bucket не заменяют ACL? Пользователи могут узнать ID из сообщения; key не доказывает membership. Каждый GET сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404. Private bucket защищает обход API; application IAM ограничивает последствия ошибок backend, но не принимает пользовательские решения о доступе.

Источники, помощь и границы

Использованы задание и неизменённые контракты текущего репозитория, собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow, исходники MinIO, исходники mc, S3 uploads. При проектировании, написании кода, тестов и отчёта использована помощь ИИ; фактические результаты должны подтверждаться сохранёнными командами. Код и данные других студентов не использовались.

Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска, backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии. CI workflow приложен; удалённый запуск не подтверждён.