Files
2026-11-06 15:43:25 +03:00

8.6 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

Автор: Юртаев (группа не указана). Цель: 5, трек 1 — прямой upload. Основа API перенесена из лабораторной 3. Использованы Python 3.12, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, MinIO и Pillow 11.2.1; реализация подготовлена с помощью Codex.

Запуск из чистого clone

Нужны Docker Engine с Compose, Python 3.9+ и свободные локальные порты 8080/9000.

cp .env.example .env
# Заменить все replace-with-* на случайные локальные значения.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check validate test test-level4 test-direct
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make benchmark-upload

Безопасная остановка: docker compose --env-file .env down. Намеренное удаление только учебных данных: docker compose --env-file .env down -v. .env не попадает в Git.

Архитектура и решения

localhost:8080 -> HAProxy -> API x2 -> PostgreSQL (метаданные, сессии, связи)
                                  |-> Redis (необязательный кэш истории)
                                  `-> private MinIO bucket (оригиналы)
client ------------------------------> MinIO:9000 (только короткий presigned PUT)

MinIO и PostgreSQL имеют persistent volumes. Bucket messenger-attachments создаётся идемпотентным init-контейнером, anonymous access отключён. Root credentials получает только init; API использует отдельного пользователя с доступом только к этому bucket. Консоль MinIO не запускается, S3 API опубликован только на 127.0.0.1 для presigned PUT.

Обязательный proxy endpoint читает тело порциями во временный файл с жёстким пределом 10 MiB, считает SHA-256, проверяет реальный PNG/JPEG и не более 40 млн пикселей, затем пишет случайный object key в S3. 201 ready возвращается только после записи объекта и метаданных. При ошибке БД выполняется компенсационное удаление S3. Фоновая сверка удаляет неизвестные объекты только после grace period 10 минут. Filename никогда не используется как object key.

Метаданные Attachment и связи сообщения находятся в PostgreSQL. Сообщение атомарно проверяет до 10 уникальных ready-вложений своего чата. Чужой чат/attachment скрывается одинаковым 404. Download всегда идёт через авторизованный API без redirect и потоково возвращает оригинал из S3.

Readiness требует PostgreSQL и bucket; Redis остаётся необязательным. S3 connect/read timeout — 2/15 с. На API установлен лимит 256 MiB. Одновременные загрузки используют отдельные временные файлы и буферы по 64 KiB, поэтому размер входного файла не становится постоянным RAM-буфером API.

Трек 1: прямой upload

Гипотеза: presigned flow уберёт тело клиентской загрузки из внешнего трафика API и примерно вдвое уменьшит бинарный трафик API с учётом обязательного чтения объекта при complete; пиковая RAM API не должна расти пропорционально размеру файла.

  1. POST /api/v1/chats/{chat_id}/attachments/presign аутентифицирует участника, валидирует filename/type/size/SHA-256, создаёт уникальный ключ и запись uploading, выдаёт PUT URL на 120 с.
  2. Клиент отправляет bytes прямо в MinIO.
  3. Только создатель вызывает POST /api/v1/attachments/{id}/complete. API проверяет TTL, наличие, Content-Type, размер, потоковый SHA-256 и фактическое изображение; только затем атомарно ставит ready.
  4. Ошибочный объект удаляется. Незавершённая загрузка удаляется после TTL + 5 минут; повторный запуск cleanup безопасен. Обязательный proxy endpoint сохранён.

Отрицательные сценарии tests/direct_upload.py: complete до PUT -> 409; complete другим участником -> 404; неверный checksum -> 409 с удалением объекта; anonymous GET без подписи -> 401/403. tests/level4.py отдельно проверяет >10 MiB, битое изображение, MIME spoofing, опасный filename, чужой attachment и связь из другого чата.

Доказательства

Критерий Команда Результат 06.11.2026
Lint make lint PASS, 14 Python-файлов
Структура/контракт make check PASS
Compose model docker compose --env-file .env config --quiet PASS
OpenAPI make validate не выполнено: на диске осталось 155 MiB, установка venv завершилась No space left on device
Публичный smoke make test не выполнено: Docker Desktop не стартует при заполненном диске
Негативные сценарии make test-level4 test-direct подготовлены, интеграционный прогон заблокирован Docker
Persistence/failover команды выше интеграционный прогон заблокирован Docker
10 concurrent, два размера make benchmark-upload методика подготовлена, измерения не сфабрикованы; требуется рабочий Docker

Методика эксперимента

tests/upload_benchmark.py генерирует валидные несжатые PNG примерно 1 и 8 MiB. Для каждого размера выполняются 10 одновременных proxy, затем 10 direct загрузок. Каждые 100 мс снимается суммарная RAM двух API через docker stats; raw JSON сохраняется в evidence/upload_benchmark.json.

Для proxy бинарный трафик API равен примерно 2*N: client -> API и API -> S3. Для direct внешний client -> API body отсутствует, но безопасный complete читает N из S3 для независимой проверки checksum, поэтому полный бинарный трафик API примерно N, а не ноль. Control JSON мал относительно 1/8 MiB и сохраняется отдельно. Это ожидаемая модель, не подмена фактического измерения.

Ограничения

MinIO и PostgreSQL одиночные и остаются SPOF. Временный файл использует ephemeral disk API только во время проверки и не является хранилищем оригинала. Complete повторно читает объект через API ради независимой проверки SHA-256: это безопаснее доверия клиентской metadata, но оставляет половину бинарного API-трафика. Текущий локальный интеграционный прогон заблокирован заполненным диском; перед защитой нужно освободить место и заменить строки не выполнено фактическими результатами из указанных команд.