Files
mtusi2026lab4/REPORT.md
T

22 KiB
Raw Blame History

Лабораторная 4 — Маслов, БВТ2301

Цель — 5, трек 2: согласованность PostgreSQL и S3. Основа — собственная реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL, keyset pagination, общий Idempotency-Key, HAProxy и две независимые API. Добавлены приватный S3, вложения и повторяемый reconciler.

В clean-clone проверке обнаружена и исправлена гонка регистрации: все конкуренты одного username без пользы выполняли Argon2, один мог получить 503 при лимите CPU. Теперь 64 bounded locks сериализуют локальные повторы, перед KDF проверяется существование имени. Между API арбитр — прежний PostgreSQL UNIQUE, хеширование остаётся вне SQL-транзакции. Argon2id и лимит двух KDF/process не ослаблены. Первый отказ сохранён; после исправления 10 повторов по10 запросов дали каждый раз один201/девять409, без503. Полный повтор из чистого clone прошёл: receipt.

Проверки и исследование завершены; PR публикуется по результатам проверки. Публичный smoke и 108 собственных HTTP-проверок прошли на полном стенде (362.40 s). Проверки отказов/исследование прошли; повтор в чистом clone также PASS (108 tests, 380.09 s). Runtime проверен на двух API; receipt содержит исходный commit.

Запуск из чистого clone

Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv. Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host). Первичная компиляция MinIO/клиента требует сеть и время. Исходный ZIP MinIO с точным module version скачивается восемью потоками HTTP Range, с ограниченным timeout/числом повторов; затем стандартный go mod download проверяет h1 через Go checksum database перед сборкой. Проверки TLS и checksum не отключены. Go parallelism задан GOMAXPROCS=2 и GOFLAGS=-p=2; зависимости и компилятор используют BuildKit cache.

uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint PYTHON=.venv/bin/python
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json

bootstrap создаёт отсутствующие .env/secret files, существующие сохраняет. Secret directory имеет mode 0700; files читаются непривилегированными UID контейнеров через read-only mounts. Их значения не должны попадать в Git. Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy и переносит повторный запуск. После этого две API, reconciler и LB.

URL стенда: http://127.0.0.1:8084. API/S3/PG/cache не имеют host ports. Безопасная остановка: docker compose down (volumes остаются). Намеренное удаление данных только текущего учебного проекта: docker compose down --volumes; это не обычный restart.

# Dry-run: без изменений
docker compose run --rm --no-deps reconciler python -m src.reconcile
# Оператор явно разрешает изменения
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
# Реальные рестарты всех state services, с прежними volumes
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084

Не запускать fault scripts параллельно друг с другом или HTTP pytest: они намеренно останавливают реальные сервисы и временно устанавливают PostgreSQL triggers. Все их пользователи/картинки синтетические. Evidence filename должен быть новым, предыдущие результаты сохраняются.

Версии и ограничения ресурсов

Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile: Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3, HAProxy 3.2.1 alpine. MinIO собирается из commit 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a, release 2025-10-15T17-29-55Z; mc — из 7394ce0dd2a80935aded936b09fa12cbb3cb8096 (2025-08-13). Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы. Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.

Процесс CPU RAM
Каждая из двух API 0.5 768 MiB
PostgreSQL 1 512 MiB
MinIO 1 1024 MiB
Valkey 0.25 128 MiB
HAProxy 0.5 128 MiB
Reconciler 0.25 256 MiB

API: read-only root, UID 10001, no capabilities, no-new-privileges, 128 PIDs, bounded /tmp tmpfs 128 MiB. At most two uploads/process, одна декодируемая картинка/process. Spooled file после 1 MiB переносится в tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат содержимого, фактический decode, filename; SHA-256 считается на входе. S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget 4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не прерывает нативный decode, поэтому существенны также pixel/RAM limits. Download передаёт chunks 64 KiB с закрытием S3 connection.

.env.example: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/ SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose; endpoint s3:9000, region us-east-1, bucket messenger, byte/pixel limits и 24 h idempotency заданы сервером. Это фиксированные параметры реализации, логические подсказки skeleton не делают их автоматически настраиваемыми. Сессии — PostgreSQL; Valkey хранит только disposable user cache.

Архитектура и критерии

Подробные переходы и схема: SCHEMA.md. src/attachments.py коммитит pending intent до PUT, затем ready; 201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет. Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.

Проверка Команда Наблюдение Доказательство
SQL migrations docker compose run --rm --no-deps migrate, повтор 3 migrations, checksum match, repeat idempotent migrations-first.json
Публичный API make test PASS: upload201, Message, original SHA-256 и ACL http-first.json
Прежние возможности и негативные файлы uv run pytest student-tests -q 108 passed, 362.40 s; в том числе chunked >10 MiB, corrupt/MIME/pixels/filename/foreign chat http-first.json
Закреплённый S3 go mod download, minio --version, inspect module h1 verified; binary 2025-10-15/go1.24.8/arm64; 2 API, реальные CPU/RAM/ports minio-source-verification.json
Failover файла uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json API загрузившая файл реально остановлена, другая вернула прежний SHA-256 storage-first.json
Ограниченные credentials/private bucket/bootstrap Та же storage-проверка anonymous403, forbidden operations AccessDenied, denied HEAD→503, console недоступна из сети, повтор bootstrap сохранил файл storage-first.json
Обрыв и ошибки PG/S3 Та же storage-проверка частичный upload2MiB без intent/bytes; INSERT failure без PUT; pending после PUT/ошибки UPDATE восстановлен; S3down→503 storage-first.json
Пределы RAM Та же storage-проверка 10/10 uploads и 10/10 originals; память/CPU/latencies записаны storage-first.json
Orphan/missing, dry-run/apply/repeat Та же storage-проверка 5 ожидаемых действий, все применены; повтор0 действий; fresh/ready/used защищены, ID/links сохранены storage-first.json
Реальные отказы/идемпотентность/rolling uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json две API остановлены по очереди; общий replay и rollback; rolling; подтверждённые сообщения без дублей cluster-first.json
Полный restart с volumes Та же cluster-проверка, public resilience API/PG/cache/S3/LB изменили StartedAt, прежние token/metadata/bytes сохранены cluster-first.json
Стоимость обхода uv run python -m research.cost --output evidence/cost-repeat.json 9 измерений +3 warmups, фиксированные 30rows/8HEAD/0GETbytes, 0/100/1100extra cost-controlled-first.json

Source первых HTTP/storage/cluster = f5a7a74, OCI revision API совпадает с ним. Контролируемый cost harness — 3fd912f, исполняемый src/reconcile.py тот же. В чистом clone дополнительно проверяются module hashes/OCI revision обеих API и полный набор сценариев; итоговый receipt — evidence/clean-clone-first.json.

Методика исследования

Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой исправлять окна отказов PG/S3 без удаления свежих/используемых bytes. Полный обход имеет линейную стоимость по числу объектов и metadata.

scripts/verify_storage.py --research: реальные отказы INSERT/ready UPDATE через временные PG triggers, недоступность S3, abort HTTP, отсутствие используемого оригинала, old orphan и fresh orphan. Объект orphan реально стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply. Первичный cost в storage-first.json оставлен как разведочный: между повторами HEAD count менялся 6→10→16, когда concurrent upload rows достигли 300s. Его время нельзя приписать одному размеру inventory при прочих равных.

Для окончательного исследования используется research/cost.py: 8 PNG-fixtures с metadata, намеренно состаренными в PG на 2 дня; grace 3600 s, 0/100/1100 добавочных свежих объектов по 1 byte. Остальные реальные строки стенда учитываются; invariant фиксирует 30rows/8HEAD/0GETbytes во всех 9 cells. Один warmup на dataset, затем 3 измеряемых dry-run, по возрастанию размера. Каждый probe — новый контейнер reconciler .25 CPU / 256 MiB, не API. Duration измеряется внутри reconcile (не включает запуск контейнера/seed), CPU — process_time, RSS peak — Linux ru_maxrss, cgroup peak включает startup. Временные fixtures и bytes удаляются только по собственным chat/prefix. Это стоимость обхода, не максимальная пропускная способность S3.

10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat до/после. Duration/RPS включают downloads и sampler; latency — upload only. memory.peak может включать прежние запросы, поэтому отдельно показан максимум memory.current в окне. Небольшая серия не является production SLA.

Наблюдения и границы эксперимента

Storage: orphan действительно старел 331.301s; часы S3 не менялись. Dry-run нашёл по одному delete_orphan/recover_pending/fail_pending_missing/ delete_failed_object/mark_missing. Apply выполнил их, повторный apply не изменил ничего. Fresh orphan, fresh failed и ready без Message сохранились; у missing used сохранены metadata ID и Message link, внешний GET→409. Данные пропавшего original не «восстановлены» по checksum.

10 одновременных uploads: PNG 6,017,095 bytes, 2,890,000 pixels; 10/10 успехов, ошибок 0, оригиналы совпали. Серия 5.149 s, 1.942successful uploads/s с учётом скачивания и sampler; upload p50=2162.965ms, p95=p99=4465.512ms. Это одна короткая серия, p95/p99 на 10 запросах совпадают с максимумом. Sampled cgroup memory.current max по API 123.01/155.93 MiB; memory.peak 145.66/205.13 MiB. Последнее включает предыдущую работу, поэтому это верхняя граница для данной серии. В clean-clone повторе API специально рестартуют перед экспериментом, чтобы peak относился к новым cgroups.

Дополнительные объекты Фактически scanned Медиана времени, s Диапазон 3 повторов, s
0 26 0.193719 0.189185–0.210146
100 126 0.204344 0.196670–0.210975
1100 1126 0.409094 0.391053–0.610401

При этих условиях увеличение inventory повысило стоимость. Код хранит inventory в dict и обходит его целиком: O(objects+rows) времени/памяти. Три размера и три повтора не доказывают точную линейную зависимость: есть fixed HEAD cost, pagination LIST после 1000 keys, quota scheduling и нагрузка общего ноутбука. CPU процесса 0.0368–0.1059 s; RSS peak 58.82–59.82 MiB, cgroup peak 41.60–43.10 MiB. RSS и cgroup учитывают общие страницы по-разному; это разные показатели. Небольшой dataset не доказывает пригодность полного inventory для миллионов объектов. Следующий шаг — пагинация/partitioning и ограниченные пачки metadata; это предложение, не измеренная оптимизация.

Measured inventory cost and sampled API memory

Process failover: первая API: 194 подтверждённых записи / 8 временных ошибок, восстановление 4.086 s; вторая: 217 / 7 / 2.720 s. Rolling: 609 записей / 34 ошибки, подтверждённые записи сохранены. Public failover: 123 записи / 3 ошибки, восстановление 2.635 s. Это не zero-error rolling и не HA единственного host.

Вопросы защиты

Почему volume API не равно S3? Volume принадлежит контейнеру/host и сам по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и независимый lifecycle. В этой реализации у API вообще нет persistent volume; другая реплика читает общий S3 по metadata PostgreSQL.

Когда можно вернуть 201? После фактической проверки изображения, успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать 201. Клиент может потерять ответ после успешной записи; upload не имеет Idempotency-Key, поэтому слепой повтор может создать другое вложение.

PUT прошёл, COMMIT не прошёл? Уже есть durable pending intent. После grace reconciler проверяет размер/checksum и переводит в ready. При отсутствующих/других bytes ставит internal failed. Очищать файл вслепую при неизвестном результате COMMIT опасно. Восстановление уже пропавших bytes только из checksum невозможно.

Почему случайный key/private bucket не заменяют ACL? Пользователи могут узнать ID из сообщения; key не доказывает membership. Каждый GET сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404. Private bucket защищает обход API; application IAM ограничивает последствия ошибок backend, но не принимает пользовательские решения о доступе.

Источники, помощь и границы

Использованы задание и неизменённые контракты текущего репозитория, собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow, исходники MinIO, исходники mc, S3 uploads. При проектировании, написании кода, тестов и отчёта использована помощь ИИ; фактические результаты должны подтверждаться сохранёнными командами. Код и данные других студентов не использовались.

Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска, backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии. CI workflow приложен; удалённый запуск не подтверждён.

Итоговая проверка из чистого clone

evidence/clean-clone-first.json: PASS, source 6f8e4f127dee8857a3af908a9fb1d575f8907d90. Новые secrets, env, volumes, API image и фиксированный случайный host port; check/validate/lint, public smoke, 108 HTTP tests (380.09 s), полная cluster/storage матрица, hashes исходников и OCI revision обеих API совпали; git fsck PASS. Временный стенд и только его volumes удалены в finally.

Реальное старение S3 334.035 s; пять ожидаемых действий dry-run/apply, повтор 0; fresh/ready/used данные защищены. C10: 10/10, ошибок0, 6,017,095 bytes/image, 5.429 s включая verified downloads/sampler; 1.842 successful uploads/s, upload p50 2767.956 ms, p95=p99 5002.469 ms. После рестарта API новые cgroups: sampled memory.current max 138.30 MiB, memory.peak max 143.94 MiB (включает startup до серии). Контролируемое исследование 9cells выполнено отдельно и не выдаётся за повторённое в clean clone. Старый failed receipt сохранён для истории. Последующие коммиты меняют только отчёт/evidence, проверенный runtime сохранён.