13 KiB
Отчёт — лабораторная 4
- Автор, группа: Койчакаев Багавдин, БВТ2301
- Целевая оценка: 5
- Трек 5: трек 2 — согласованность PostgreSQL/S3
- Commit/PR: решение подготовлено локально в клоне skeleton; публикация выполняется в личный fork по CONTRIBUTING.md
- Источники, библиотеки и помощь ИИ: собственная реализация ЛР3; Python 3.12, psycopg, Argon2, boto3, Pillow; RustFS container docs, RustFS IAM docs; помощь Codex указана в этой строке.
Запуск из чистого clone
Требуются Docker Desktop/Engine с Compose и Python 3.12 для локальных проверок. Стенд рассчитан на локальные синтетические данные; S3 API и Console не публикуются на хост. Compose закрепляет теги образов, Python закреплён digest в Dockerfile.
make check
scripts/init-env.sh # создаёт .env с уникальными секретами, режим 0600
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
# ждать статуса healthy у api, postgres, valkey и haproxy:
docker compose --env-file .env ps
make test BASE_URL=http://127.0.0.1:8080
При занятости 8080 задайте APP_PORT в .env; использованный локальный стенд работал на 18084. Для безопасной остановки без потери данных: docker compose --env-file .env down. Намеренно удалить учебные БД, сессии, вложения и volumes: docker compose --env-file .env down -v. В .env находятся локальные credentials; не добавлять его в Git.
Архитектура и решения
Client → HAProxy → API × 2 → PostgreSQL (users/chats/messages/sessions/metadata)
└→ private RustFS bucket (original bytes)
Перенесены API, сессии, пагинация, идемпотентность и балансировка из ЛР3. attachments и message_attachments добавлены миграцией 003; составной FK не позволяет соединить сообщение и вложение разных чатов. PostgreSQL — источник истины для ACL и метаданных. Object key выдаёт сервер (attachments/<uuid>), а имя файла хранится отдельно и не попадает в ключ.
Загрузка ограничена 10 MiB и 40 млн пикселей. Тело читается порциями по 64 KiB во SpooledTemporaryFile (до 1 MiB в памяти, остаток во временном spool), проверяется SHA-256 и формат/декодирование, затем передаётся в S3. На API одновременно допускается не более двух обработок загрузки на реплику. Оригинал никогда не становится постоянным локальным файлом API. RustFS service использует named volume; bucket приватный. Root credentials используются только одноразовым bootstrap. API credential имеет ограниченную политику List/Get/Put/Delete только для bucket и prefix вложений. RustFS Console (9001) и S3 API (9000) доступны только внутри Compose network.
Граница двух хранилищ не является распределённой транзакцией. Сначала выполняется S3 PUT, затем транзакционная запись метаданных. При ошибке БД API компенсирует S3 PUT удалением; если удаление недоступно, ошибка записывается в log, а reconciler обнаружит объект без строки. Reconciler по умолчанию dry-run, минимальный grace period — 3600 секунд. Он постранично сравнивает S3 prefix и метаданные; отсутствующий объект переводит в failed/object_missing, старый S3-only объект удаляется только после grace period, старая metadata-only attachment удаляется только если нет связанного сообщения и повторная проверка под блокировкой подтверждает отсутствие ссылки. Свежие/используемые вложения не удаляются.
Версии Compose: API base python:3.12.8-slim-bookworm по digest, PostgreSQL 16.4-bookworm, Valkey 8.0.1-alpine, HAProxy 3.0.8-alpine, RustFS 1.0.4, RustFS CLI v0.1.37. Для restart/persistence volumes сохраняются.
Доказательства критериев
| Критерий | Команда / сценарий | Результат | Доказательство |
|---|---|---|---|
| Структура/контракт | make check; make validate; python3 -m py_compile server.py scripts/reconcile.py tests/*.py; docker compose config --quiet |
PASS, контракт не изменён | evidence/lab4-checks.txt |
| Публичный API | make test BASE_URL=http://127.0.0.1:18084 |
PASS: lab4 public API scenario; SHA-256/bytes совпали, участник скачал, outsider получил 404 |
evidence/lab4-checks.txt |
| Негативные вложения | python3 tests/attachments_security.py ... |
413 >10 MiB; 415 corrupt и MIME spoof; 400 unsafe filename; 404 чужой чат/пользователь | evidence/lab4-checks.txt |
| Bucket приватный | docker compose exec api python tests/private_bucket_check.py |
Anonymous ListBucket и прямой GetObject без API → 403; временный объект удалён | evidence/lab4-checks.txt |
| S3/DB compensation | tests/compensation_check.py с инъекцией ошибки метаданных |
API 503; compensating delete оставил S3 без orphan | evidence/lab4-checks.txt |
| Отказ S3 | python3 tests/s3_failure.py ... |
local API readiness и upload вернули 503; после старта RustFS readiness снова 200 | evidence/lab4-checks.txt |
| Поток/память | python3 tests/upload_burst.py ... |
10 одновременных PNG × 7,684,003 B; 76,840,030 B всего; один sample 0.768 s, 95.46 MiB/s; cgroup memory.peak: API-1 162,799,616 B (155.3 MiB), API-2 162,144,256 B (154.5 MiB), лимит каждой реплики 512 MiB |
evidence/lab4-checks.txt |
| Failover | make test-failover ACTION_SCRIPT=scripts/stop-one.sh ... |
115 подтверждённых writes, 1 временный сбой запроса, первый успешный ответ через 1.434 s; прежняя сессия и вложение сохранены | evidence/lab4-checks.txt |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh ... |
API, HAProxy, PostgreSQL, Valkey и RustFS перезапущены без удаления volumes; данные, сессия и файл сохранились | evidence/lab4-checks.txt |
| Трек 2: обе стороны | docker compose exec api python tests/reconcile_scenarios.py |
Dry-run увидел missing metadata и S3 orphan; apply пометил missing как failed, свежий orphan и старое referenced вложение сохранил; повторный apply: 0 действий | evidence/reconcile-scenarios.json |
| Трек 2: expired orphan | docker compose exec api python tests/reconcile_unit.py |
Dry-run ничего не удалил; apply удалил двухдневный S3-only объект при grace=1h; повторный apply идемпотентен | evidence/reconcile-unit.txt |
make test подтверждает контрактный HTTP сценарий, но сам по себе не выставляет оценку. Все сценарии выполнялись на локальном одноузловом Docker Desktop; измерения не являются production benchmark.
Эксперимент трека 2
Гипотеза. При сверке двух хранилищ без distributed transaction можно безопасно исправлять старые расхождения повторяемым проходом: не терять активно используемые/свежие файлы, делать dry-run без изменений и получать ноль дополнительных действий на повторном запуске.
Методика. Сначала синтетический integration сценарий сохранил прежнее ready-вложение, вставил строку metadata без объекта, записал свежий S3-объект без metadata и искусственно состарил метаданные активного вложения. Запущены dry-run, apply, повторный apply. Отдельный детерминированный тест подменил S3 LastModified на два дня назад, чтобы проверить удаление orphan без ожидания реального часа. Не менялись публичные тесты/схемы. Выводы и время каждого прохода сохранены в evidence/reconcile-scenarios.json и evidence/reconcile-unit.txt.
Результат. Missing object обнаружен и metadata переведена в failed; referenced объект остался; свежий объект, даже со старыми метаданными, был отложен grace period; старый orphan удалён только в apply; повторный проход не сделал действий. Сложность — полный листинг attachments/ плюс линейный проход по rows PostgreSQL; на маленьком учебном наборе измеряется в миллисекундах, при большом bucket нужна метрика фактического размера и, возможно, инкрементальная сверка.
Отказы и ограничения
Строгий smoke из репозитория ЛР3 отвергает дополнительное поле attachment_ids в объекте Message из-за additionalProperties=false в старой версии схемы. Это поле обязательно в контракте ЛР4; текстовый POST остаётся валидным, публичный smoke ЛР4 и отдельный тест конкурентной идемпотентности ЛР3 проходят. Старый строгий smoke и новый контракт одновременно требуют несовместимые формы одного ответа.
| Воздействие | Результат | Ограничение |
|---|---|---|
| RustFS остановлен | readiness/upload 503; сервис восстановил readiness после старта | HAProxy снимает API-реплики из ротации, пока ready не пройдёт проверку |
| PostgreSQL insert отклонён после S3 PUT | компенсирующий delete удалил объект | если сам delete недоступен, исправление отложено до reconciler и grace period |
| API replica остановлена | подтверждённые данные читались через оставшуюся реплику; временно один запрос получил ошибку | один Docker host остаётся общей точкой отказа для LB, API, PostgreSQL, Valkey и RustFS |
| Restart всех stateful services | данные и оригинал сохранились с named volumes | не проверяет потерю самого Docker host или volume |
RustFS запущен в single-node single-disk режиме: он даёт совместимость S3 API и персистентный volume для лабораторной, но не репликацию данных. Стенд предназначен только для локальных синтетических данных, использует HTTP на localhost и не включает TLS. Host/CPU модель отдельно не фиксировалась; burst измерен один раз и не является универсальным сравнением.