12 KiB
Лабораторная 4 — Маслов, БВТ2301
Цель — 5, трек 2: согласованность PostgreSQL и S3. Основа — собственная реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL, keyset pagination, общий Idempotency-Key, HAProxy и две независимые API. Добавлены приватный S3, вложения и повторяемый reconciler.
Публикация и окончательные результаты будут внесены после проверок. Сейчас завершены реализация и статические проверки; runtime-доказательства ещё собираются. Этот промежуточный статус не является заявлением PASS.
Запуск из чистого clone
Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv. Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host). Первичная компиляция MinIO/клиента требует сеть и время; Go parallelism ограничен двумя потоками, зависимости и компилятор используют BuildKit cache.
uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint PYTHON=.venv/bin/python
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json
bootstrap создаёт отсутствующие .env/secret files, существующие сохраняет.
Secret directory имеет mode 0700; files читаются непривилегированными UID
контейнеров через read-only mounts. Их значения не должны попадать в Git.
Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку
с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy
и переносит повторный запуск. После этого две API, reconciler и LB.
URL стенда: http://127.0.0.1:8084. API/S3/PG/cache не имеют host ports.
Безопасная остановка: docker compose down (volumes остаются).
Намеренное удаление данных только текущего учебного проекта:
docker compose down --volumes; это не обычный restart.
# Dry-run: без изменений
docker compose run --rm --no-deps reconciler python -m src.reconcile
# Оператор явно разрешает изменения
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
# Реальные рестарты всех state services, с прежними volumes
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084
Не запускать fault scripts параллельно друг с другом или HTTP pytest: они намеренно останавливают реальные сервисы и временно устанавливают PostgreSQL triggers. Все их пользователи/картинки синтетические. Evidence filename должен быть новым, предыдущие результаты сохраняются.
Версии и ограничения ресурсов
Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile:
Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3,
HAProxy 3.2.1 alpine. MinIO собирается из commit
9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a, release
2025-10-15T17-29-55Z; mc — из
7394ce0dd2a80935aded936b09fa12cbb3cb8096 (2025-08-13).
Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы.
Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.
| Процесс | CPU | RAM |
|---|---|---|
| Каждая из двух API | 0.5 | 768 MiB |
| PostgreSQL | 1 | 512 MiB |
| MinIO | 1 | 1024 MiB |
| Valkey | 0.25 | 128 MiB |
| HAProxy | 0.5 | 128 MiB |
| Reconciler | 0.25 | 256 MiB |
API: read-only root, UID 10001, no capabilities, no-new-privileges,
128 PIDs, bounded /tmp tmpfs 128 MiB. At most two uploads/process,
одна декодируемая картинка/process. Spooled file после 1 MiB переносится в
tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат
содержимого, фактический decode, filename; SHA-256 считается на входе.
S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget
4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не
прерывает нативный decode, поэтому существенны также pixel/RAM limits.
Download передаёт chunks 64 KiB с закрытием S3 connection.
.env.example: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/
SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file
names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose;
endpoint s3:9000, region us-east-1, bucket messenger, byte/pixel limits и
24 h idempotency заданы сервером. Это фиксированные параметры реализации,
логические подсказки skeleton не делают их автоматически настраиваемыми.
Сессии — PostgreSQL; Valkey хранит только disposable user cache.
Архитектура и критерии
Подробные переходы и схема: SCHEMA.md.
src/attachments.py коммитит pending intent до PUT, затем ready;
201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет.
Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и
вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.
Таблица наблюдений и ссылки на evidence будут заполнены после выполнения storage, cluster, HTTP и clean-clone проверок.
Методика исследования
Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой исправлять окна отказов PG/S3 без удаления свежих/используемых bytes. Полный обход имеет линейную стоимость по числу объектов и metadata.
scripts/verify_storage.py --research: реальные отказы INSERT/ready UPDATE
через временные PG triggers, недоступность S3, abort HTTP, отсутствие
используемого оригинала, old orphan и fresh orphan. Объект orphan реально
стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply.
Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run
на одном стенде, без warmup, последовательно по возрастанию; учитываются
objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода,
не измерение максимальной пропускной способности S3. Dataset создаётся под
уникальным test prefix и удаляется только в своей области.
10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat до/после. Duration/RPS включают downloads и sampler; latency — upload only. memory.peak может включать прежние запросы, поэтому отдельно показан максимум memory.current в окне. Небольшая серия не является production SLA.
Вопросы защиты
Почему volume API не равно S3? Volume принадлежит контейнеру/host и сам по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и независимый lifecycle. В этой реализации у API вообще нет persistent volume; другая реплика читает общий S3 по metadata PostgreSQL.
Когда можно вернуть 201? После фактической проверки изображения, успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать 201. Клиент может потерять ответ после успешной записи; upload не имеет Idempotency-Key, поэтому слепой повтор может создать другое вложение.
PUT прошёл, COMMIT не прошёл? Уже есть durable pending intent. После grace reconciler проверяет размер/checksum и переводит в ready. При отсутствующих/других bytes ставит internal failed. Очищать файл вслепую при неизвестном результате COMMIT опасно. Восстановление уже пропавших bytes только из checksum невозможно.
Почему случайный key/private bucket не заменяют ACL? Пользователи могут узнать ID из сообщения; key не доказывает membership. Каждый GET сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404. Private bucket защищает обход API; application IAM ограничивает последствия ошибок backend, но не принимает пользовательские решения о доступе.
Источники, помощь и границы
Использованы задание и неизменённые контракты текущего репозитория, собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow, исходники MinIO, исходники mc, S3 uploads. При проектировании, написании кода, тестов и отчёта использована помощь ИИ; фактические результаты должны подтверждаться сохранёнными командами. Код и данные других студентов не использовались.
Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска, backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии. CI workflow приложен; удалённый запуск не подтверждён.