22 KiB
Лабораторная 4 — Маслов, БВТ2301
Цель — 5, трек 2: согласованность PostgreSQL и S3. Основа — собственная реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL, keyset pagination, общий Idempotency-Key, HAProxy и две независимые API. Добавлены приватный S3, вложения и повторяемый reconciler.
В clean-clone проверке обнаружена и исправлена гонка регистрации: все конкуренты одного username без пользы выполняли Argon2, один мог получить 503 при лимите CPU. Теперь 64 bounded locks сериализуют локальные повторы, перед KDF проверяется существование имени. Между API арбитр — прежний PostgreSQL UNIQUE, хеширование остаётся вне SQL-транзакции. Argon2id и лимит двух KDF/process не ослаблены. Первый отказ сохранён; после исправления 10 повторов по10 запросов дали каждый раз один201/девять409, без503. Полный повтор из чистого clone прошёл: receipt.
Проверки и исследование завершены; PR публикуется по результатам проверки. Публичный smoke и 108 собственных HTTP-проверок прошли на полном стенде (362.40 s). Проверки отказов/исследование прошли; повтор в чистом clone также PASS (108 tests, 380.09 s). Runtime проверен на двух API; receipt содержит исходный commit.
Запуск из чистого clone
Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv.
Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host).
Первичная компиляция MinIO/клиента требует сеть и время. Исходный ZIP
MinIO с точным module version скачивается восемью потоками HTTP Range,
с ограниченным timeout/числом повторов; затем стандартный go mod download
проверяет h1 через Go checksum database перед сборкой. Проверки TLS и
checksum не отключены. Go parallelism
задан GOMAXPROCS=2 и GOFLAGS=-p=2; зависимости и компилятор
используют BuildKit cache.
uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint PYTHON=.venv/bin/python
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json
bootstrap создаёт отсутствующие .env/secret files, существующие сохраняет.
Secret directory имеет mode 0700; files читаются непривилегированными UID
контейнеров через read-only mounts. Их значения не должны попадать в Git.
Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку
с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy
и переносит повторный запуск. После этого две API, reconciler и LB.
URL стенда: http://127.0.0.1:8084. API/S3/PG/cache не имеют host ports.
Безопасная остановка: docker compose down (volumes остаются).
Намеренное удаление данных только текущего учебного проекта:
docker compose down --volumes; это не обычный restart.
# Dry-run: без изменений
docker compose run --rm --no-deps reconciler python -m src.reconcile
# Оператор явно разрешает изменения
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
# Реальные рестарты всех state services, с прежними volumes
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084
Не запускать fault scripts параллельно друг с другом или HTTP pytest: они намеренно останавливают реальные сервисы и временно устанавливают PostgreSQL triggers. Все их пользователи/картинки синтетические. Evidence filename должен быть новым, предыдущие результаты сохраняются.
Версии и ограничения ресурсов
Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile:
Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3,
HAProxy 3.2.1 alpine. MinIO собирается из commit
9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a, release
2025-10-15T17-29-55Z; mc — из
7394ce0dd2a80935aded936b09fa12cbb3cb8096 (2025-08-13).
Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы.
Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.
| Процесс | CPU | RAM |
|---|---|---|
| Каждая из двух API | 0.5 | 768 MiB |
| PostgreSQL | 1 | 512 MiB |
| MinIO | 1 | 1024 MiB |
| Valkey | 0.25 | 128 MiB |
| HAProxy | 0.5 | 128 MiB |
| Reconciler | 0.25 | 256 MiB |
API: read-only root, UID 10001, no capabilities, no-new-privileges,
128 PIDs, bounded /tmp tmpfs 128 MiB. At most two uploads/process,
одна декодируемая картинка/process. Spooled file после 1 MiB переносится в
tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат
содержимого, фактический decode, filename; SHA-256 считается на входе.
S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget
4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не
прерывает нативный decode, поэтому существенны также pixel/RAM limits.
Download передаёт chunks 64 KiB с закрытием S3 connection.
.env.example: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/
SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file
names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose;
endpoint s3:9000, region us-east-1, bucket messenger, byte/pixel limits и
24 h idempotency заданы сервером. Это фиксированные параметры реализации,
логические подсказки skeleton не делают их автоматически настраиваемыми.
Сессии — PostgreSQL; Valkey хранит только disposable user cache.
Архитектура и критерии
Подробные переходы и схема: SCHEMA.md.
src/attachments.py коммитит pending intent до PUT, затем ready;
201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет.
Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и
вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.
| Проверка | Команда | Наблюдение | Доказательство |
|---|---|---|---|
| SQL migrations | docker compose run --rm --no-deps migrate, повтор |
3 migrations, checksum match, repeat idempotent | migrations-first.json |
| Публичный API | make test |
PASS: upload201, Message, original SHA-256 и ACL | http-first.json |
| Прежние возможности и негативные файлы | uv run pytest student-tests -q |
108 passed, 362.40 s; в том числе chunked >10 MiB, corrupt/MIME/pixels/filename/foreign chat | http-first.json |
| Закреплённый S3 | go mod download, minio --version, inspect |
module h1 verified; binary 2025-10-15/go1.24.8/arm64; 2 API, реальные CPU/RAM/ports | minio-source-verification.json |
| Failover файла | uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json |
API загрузившая файл реально остановлена, другая вернула прежний SHA-256 | storage-first.json |
| Ограниченные credentials/private bucket/bootstrap | Та же storage-проверка | anonymous403, forbidden operations AccessDenied, denied HEAD→503, console недоступна из сети, повтор bootstrap сохранил файл | storage-first.json |
| Обрыв и ошибки PG/S3 | Та же storage-проверка | частичный upload2MiB без intent/bytes; INSERT failure без PUT; pending после PUT/ошибки UPDATE восстановлен; S3down→503 | storage-first.json |
| Пределы RAM | Та же storage-проверка | 10/10 uploads и 10/10 originals; память/CPU/latencies записаны | storage-first.json |
| Orphan/missing, dry-run/apply/repeat | Та же storage-проверка | 5 ожидаемых действий, все применены; повтор0 действий; fresh/ready/used защищены, ID/links сохранены | storage-first.json |
| Реальные отказы/идемпотентность/rolling | uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json |
две API остановлены по очереди; общий replay и rollback; rolling; подтверждённые сообщения без дублей | cluster-first.json |
| Полный restart с volumes | Та же cluster-проверка, public resilience | API/PG/cache/S3/LB изменили StartedAt, прежние token/metadata/bytes сохранены | cluster-first.json |
| Стоимость обхода | uv run python -m research.cost --output evidence/cost-repeat.json |
9 измерений +3 warmups, фиксированные 30rows/8HEAD/0GETbytes, 0/100/1100extra | cost-controlled-first.json |
Source первых HTTP/storage/cluster = f5a7a74, OCI revision API совпадает с ним.
Контролируемый cost harness — 3fd912f, исполняемый src/reconcile.py тот же.
В чистом clone дополнительно проверяются module hashes/OCI revision обеих API
и полный набор сценариев; итоговый receipt — evidence/clean-clone-first.json.
Методика исследования
Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой исправлять окна отказов PG/S3 без удаления свежих/используемых bytes. Полный обход имеет линейную стоимость по числу объектов и metadata.
scripts/verify_storage.py --research: реальные отказы INSERT/ready UPDATE
через временные PG triggers, недоступность S3, abort HTTP, отсутствие
используемого оригинала, old orphan и fresh orphan. Объект orphan реально
стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply.
Первичный cost в storage-first.json оставлен как разведочный: между
повторами HEAD count менялся 6→10→16, когда concurrent upload rows достигли
300s. Его время нельзя приписать одному размеру inventory при прочих равных.
Для окончательного исследования используется research/cost.py:
8 PNG-fixtures с metadata, намеренно состаренными в PG на 2 дня; grace 3600 s,
0/100/1100 добавочных свежих объектов по 1 byte. Остальные реальные строки
стенда учитываются; invariant фиксирует 30rows/8HEAD/0GETbytes во всех 9 cells.
Один warmup на dataset, затем 3 измеряемых dry-run, по возрастанию размера.
Каждый probe — новый контейнер reconciler .25 CPU / 256 MiB, не API.
Duration измеряется внутри reconcile (не включает запуск контейнера/seed),
CPU — process_time, RSS peak — Linux ru_maxrss, cgroup peak включает startup.
Временные fixtures и bytes удаляются только по собственным chat/prefix.
Это стоимость обхода, не максимальная пропускная способность S3.
10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat до/после. Duration/RPS включают downloads и sampler; latency — upload only. memory.peak может включать прежние запросы, поэтому отдельно показан максимум memory.current в окне. Небольшая серия не является production SLA.
Наблюдения и границы эксперимента
Storage: orphan действительно старел 331.301s; часы S3 не менялись. Dry-run нашёл по одному delete_orphan/recover_pending/fail_pending_missing/ delete_failed_object/mark_missing. Apply выполнил их, повторный apply не изменил ничего. Fresh orphan, fresh failed и ready без Message сохранились; у missing used сохранены metadata ID и Message link, внешний GET→409. Данные пропавшего original не «восстановлены» по checksum.
10 одновременных uploads: PNG 6,017,095 bytes, 2,890,000 pixels; 10/10 успехов, ошибок 0, оригиналы совпали. Серия 5.149 s, 1.942successful uploads/s с учётом скачивания и sampler; upload p50=2162.965ms, p95=p99=4465.512ms. Это одна короткая серия, p95/p99 на 10 запросах совпадают с максимумом. Sampled cgroup memory.current max по API 123.01/155.93 MiB; memory.peak 145.66/205.13 MiB. Последнее включает предыдущую работу, поэтому это верхняя граница для данной серии. В clean-clone повторе API специально рестартуют перед экспериментом, чтобы peak относился к новым cgroups.
| Дополнительные объекты | Фактически scanned | Медиана времени, s | Диапазон 3 повторов, s |
|---|---|---|---|
| 0 | 26 | 0.193719 | 0.189185–0.210146 |
| 100 | 126 | 0.204344 | 0.196670–0.210975 |
| 1100 | 1126 | 0.409094 | 0.391053–0.610401 |
При этих условиях увеличение inventory повысило стоимость. Код хранит inventory в dict и обходит его целиком: O(objects+rows) времени/памяти. Три размера и три повтора не доказывают точную линейную зависимость: есть fixed HEAD cost, pagination LIST после 1000 keys, quota scheduling и нагрузка общего ноутбука. CPU процесса 0.0368–0.1059 s; RSS peak 58.82–59.82 MiB, cgroup peak 41.60–43.10 MiB. RSS и cgroup учитывают общие страницы по-разному; это разные показатели. Небольшой dataset не доказывает пригодность полного inventory для миллионов объектов. Следующий шаг — пагинация/partitioning и ограниченные пачки metadata; это предложение, не измеренная оптимизация.
Process failover: первая API: 194 подтверждённых записи / 8 временных ошибок, восстановление 4.086 s; вторая: 217 / 7 / 2.720 s. Rolling: 609 записей / 34 ошибки, подтверждённые записи сохранены. Public failover: 123 записи / 3 ошибки, восстановление 2.635 s. Это не zero-error rolling и не HA единственного host.
Вопросы защиты
Почему volume API не равно S3? Volume принадлежит контейнеру/host и сам по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и независимый lifecycle. В этой реализации у API вообще нет persistent volume; другая реплика читает общий S3 по metadata PostgreSQL.
Когда можно вернуть 201? После фактической проверки изображения, успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать 201. Клиент может потерять ответ после успешной записи; upload не имеет Idempotency-Key, поэтому слепой повтор может создать другое вложение.
PUT прошёл, COMMIT не прошёл? Уже есть durable pending intent. После grace reconciler проверяет размер/checksum и переводит в ready. При отсутствующих/других bytes ставит internal failed. Очищать файл вслепую при неизвестном результате COMMIT опасно. Восстановление уже пропавших bytes только из checksum невозможно.
Почему случайный key/private bucket не заменяют ACL? Пользователи могут узнать ID из сообщения; key не доказывает membership. Каждый GET сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404. Private bucket защищает обход API; application IAM ограничивает последствия ошибок backend, но не принимает пользовательские решения о доступе.
Источники, помощь и границы
Использованы задание и неизменённые контракты текущего репозитория, собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow, исходники MinIO, исходники mc, S3 uploads. При проектировании, написании кода, тестов и отчёта использована помощь ИИ; фактические результаты должны подтверждаться сохранёнными командами. Код и данные других студентов не использовались.
Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска, backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии. CI workflow приложен; удалённый запуск не подтверждён.
Итоговая проверка из чистого clone
evidence/clean-clone-first.json: PASS,
source 6f8e4f127dee8857a3af908a9fb1d575f8907d90. Новые secrets, env,
volumes, API image и фиксированный случайный host port; check/validate/lint,
public smoke, 108 HTTP tests (380.09 s), полная cluster/storage матрица,
hashes исходников и OCI revision обеих API совпали; git fsck PASS.
Временный стенд и только его volumes удалены в finally.
Реальное старение S3 334.035 s; пять ожидаемых действий dry-run/apply, повтор 0; fresh/ready/used данные защищены. C10: 10/10, ошибок0, 6,017,095 bytes/image, 5.429 s включая verified downloads/sampler; 1.842 successful uploads/s, upload p50 2767.956 ms, p95=p99 5002.469 ms. После рестарта API новые cgroups: sampled memory.current max 138.30 MiB, memory.peak max 143.94 MiB (включает startup до серии). Контролируемое исследование 9cells выполнено отдельно и не выдаётся за повторённое в clean clone. Старый failed receipt сохранён для истории. Последующие коммиты меняют только отчёт/evidence, проверенный runtime сохранён.
