Files
mtusi2026lab4/REPORT.md

13 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Койчакаев Багавдин, БВТ2301
  • Целевая оценка: 5
  • Трек 5: трек 2 — согласованность PostgreSQL/S3
  • Commit/PR: решение подготовлено локально в клоне skeleton; публикация выполняется в личный fork по CONTRIBUTING.md
  • Источники, библиотеки и помощь ИИ: собственная реализация ЛР3; Python 3.12, psycopg, Argon2, boto3, Pillow; RustFS container docs, RustFS IAM docs; помощь Codex указана в этой строке.

Запуск из чистого clone

Требуются Docker Desktop/Engine с Compose и Python 3.12 для локальных проверок. Стенд рассчитан на локальные синтетические данные; S3 API и Console не публикуются на хост. Compose закрепляет теги образов, Python закреплён digest в Dockerfile.

make check
scripts/init-env.sh                         # создаёт .env с уникальными секретами, режим 0600

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
# ждать статуса healthy у api, postgres, valkey и haproxy:
docker compose --env-file .env ps
make test BASE_URL=http://127.0.0.1:8080

При занятости 8080 задайте APP_PORT в .env; использованный локальный стенд работал на 18084. Для безопасной остановки без потери данных: docker compose --env-file .env down. Намеренно удалить учебные БД, сессии, вложения и volumes: docker compose --env-file .env down -v. В .env находятся локальные credentials; не добавлять его в Git.

Архитектура и решения

Client → HAProxy → API × 2 → PostgreSQL (users/chats/messages/sessions/metadata)
                               └→ private RustFS bucket (original bytes)

Перенесены API, сессии, пагинация, идемпотентность и балансировка из ЛР3. attachments и message_attachments добавлены миграцией 003; составной FK не позволяет соединить сообщение и вложение разных чатов. PostgreSQL — источник истины для ACL и метаданных. Object key выдаёт сервер (attachments/<uuid>), а имя файла хранится отдельно и не попадает в ключ.

Загрузка ограничена 10 MiB и 40 млн пикселей. Тело читается порциями по 64 KiB во SpooledTemporaryFile (до 1 MiB в памяти, остаток во временном spool), проверяется SHA-256 и формат/декодирование, затем передаётся в S3. На API одновременно допускается не более двух обработок загрузки на реплику. Оригинал никогда не становится постоянным локальным файлом API. RustFS service использует named volume; bucket приватный. Root credentials используются только одноразовым bootstrap. API credential имеет ограниченную политику List/Get/Put/Delete только для bucket и prefix вложений. RustFS Console (9001) и S3 API (9000) доступны только внутри Compose network.

Граница двух хранилищ не является распределённой транзакцией. Сначала выполняется S3 PUT, затем транзакционная запись метаданных. При ошибке БД API компенсирует S3 PUT удалением; если удаление недоступно, ошибка записывается в log, а reconciler обнаружит объект без строки. Reconciler по умолчанию dry-run, минимальный grace period — 3600 секунд. Он постранично сравнивает S3 prefix и метаданные; отсутствующий объект переводит в failed/object_missing, старый S3-only объект удаляется только после grace period, старая metadata-only attachment удаляется только если нет связанного сообщения и повторная проверка под блокировкой подтверждает отсутствие ссылки. Свежие/используемые вложения не удаляются.

Версии Compose: API base python:3.12.8-slim-bookworm по digest, PostgreSQL 16.4-bookworm, Valkey 8.0.1-alpine, HAProxy 3.0.8-alpine, RustFS 1.0.4, RustFS CLI v0.1.37. Для restart/persistence volumes сохраняются.

Доказательства критериев

Критерий Команда / сценарий Результат Доказательство
Структура/контракт make check; make validate; python3 -m py_compile server.py scripts/reconcile.py tests/*.py; docker compose config --quiet PASS, контракт не изменён evidence/lab4-checks.txt
Публичный API make test BASE_URL=http://127.0.0.1:18084 PASS: lab4 public API scenario; SHA-256/bytes совпали, участник скачал, outsider получил 404 evidence/lab4-checks.txt
Негативные вложения python3 tests/attachments_security.py ... 413 >10 MiB; 415 corrupt и MIME spoof; 400 unsafe filename; 404 чужой чат/пользователь evidence/lab4-checks.txt
Bucket приватный docker compose exec api python tests/private_bucket_check.py Anonymous ListBucket и прямой GetObject без API → 403; временный объект удалён evidence/lab4-checks.txt
S3/DB compensation tests/compensation_check.py с инъекцией ошибки метаданных API 503; compensating delete оставил S3 без orphan evidence/lab4-checks.txt
Отказ S3 python3 tests/s3_failure.py ... local API readiness и upload вернули 503; после старта RustFS readiness снова 200 evidence/lab4-checks.txt
Поток/память python3 tests/upload_burst.py ... 10 одновременных PNG × 7,684,003 B; 76,840,030 B всего; один sample 0.768 s, 95.46 MiB/s; cgroup memory.peak: API-1 162,799,616 B (155.3 MiB), API-2 162,144,256 B (154.5 MiB), лимит каждой реплики 512 MiB evidence/lab4-checks.txt
Failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh ... 115 подтверждённых writes, 1 временный сбой запроса, первый успешный ответ через 1.434 s; прежняя сессия и вложение сохранены evidence/lab4-checks.txt
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh ... API, HAProxy, PostgreSQL, Valkey и RustFS перезапущены без удаления volumes; данные, сессия и файл сохранились evidence/lab4-checks.txt
Трек 2: обе стороны docker compose exec api python tests/reconcile_scenarios.py Dry-run увидел missing metadata и S3 orphan; apply пометил missing как failed, свежий orphan и старое referenced вложение сохранил; повторный apply: 0 действий evidence/reconcile-scenarios.json
Трек 2: expired orphan docker compose exec api python tests/reconcile_unit.py Dry-run ничего не удалил; apply удалил двухдневный S3-only объект при grace=1h; повторный apply идемпотентен evidence/reconcile-unit.txt

make test подтверждает контрактный HTTP сценарий, но сам по себе не выставляет оценку. Все сценарии выполнялись на локальном одноузловом Docker Desktop; измерения не являются production benchmark.

Эксперимент трека 2

Гипотеза. При сверке двух хранилищ без distributed transaction можно безопасно исправлять старые расхождения повторяемым проходом: не терять активно используемые/свежие файлы, делать dry-run без изменений и получать ноль дополнительных действий на повторном запуске.

Методика. Сначала синтетический integration сценарий сохранил прежнее ready-вложение, вставил строку metadata без объекта, записал свежий S3-объект без metadata и искусственно состарил метаданные активного вложения. Запущены dry-run, apply, повторный apply. Отдельный детерминированный тест подменил S3 LastModified на два дня назад, чтобы проверить удаление orphan без ожидания реального часа. Не менялись публичные тесты/схемы. Выводы и время каждого прохода сохранены в evidence/reconcile-scenarios.json и evidence/reconcile-unit.txt.

Результат. Missing object обнаружен и metadata переведена в failed; referenced объект остался; свежий объект, даже со старыми метаданными, был отложен grace period; старый orphan удалён только в apply; повторный проход не сделал действий. Сложность — полный листинг attachments/ плюс линейный проход по rows PostgreSQL; на маленьком учебном наборе измеряется в миллисекундах, при большом bucket нужна метрика фактического размера и, возможно, инкрементальная сверка.

Отказы и ограничения

Строгий smoke из репозитория ЛР3 отвергает дополнительное поле attachment_ids в объекте Message из-за additionalProperties=false в старой версии схемы. Это поле обязательно в контракте ЛР4; текстовый POST остаётся валидным, публичный smoke ЛР4 и отдельный тест конкурентной идемпотентности ЛР3 проходят. Старый строгий smoke и новый контракт одновременно требуют несовместимые формы одного ответа.

Воздействие Результат Ограничение
RustFS остановлен readiness/upload 503; сервис восстановил readiness после старта HAProxy снимает API-реплики из ротации, пока ready не пройдёт проверку
PostgreSQL insert отклонён после S3 PUT компенсирующий delete удалил объект если сам delete недоступен, исправление отложено до reconciler и grace period
API replica остановлена подтверждённые данные читались через оставшуюся реплику; временно один запрос получил ошибку один Docker host остаётся общей точкой отказа для LB, API, PostgreSQL, Valkey и RustFS
Restart всех stateful services данные и оригинал сохранились с named volumes не проверяет потерю самого Docker host или volume

RustFS запущен в single-node single-disk режиме: он даёт совместимость S3 API и персистентный volume для лабораторной, но не репликацию данных. Стенд предназначен только для локальных синтетических данных, использует HTTP на localhost и не включает TLS. Host/CPU модель отдельно не фиксировалась; burst измерен один раз и не является универсальным сравнением.