MinIO в общем стенде (compose.yaml), приватный bucket attachments, volume minio_data.
minio-init – идемпотентный bootstrap: mc mb --ignore-existing, mc anonymous set none, создание пользователя api-user с ограниченными правами (|| true для повторного запуска).
Метаданные вложений – в PostgreSQL (таблицы attachments, message_attachments), байты – в MinIO. В БД и на локальном диске API байтов нет.
API использует отдельные S3-credentials (api-user), не root. Консоль MinIO 9001 наружу не публикуется, только 127.0.0.1:9000.
Минимум lab3 сохранён: две реплики API за Nginx, общие PostgreSQL и Valkey, идемпотентность, failover, persistence.
POST /chats/{chat_id}/attachments?filename= – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей. MIME по содержимому (PIL.Image.open + verify()), опасный filename → 400, лимит проверяется по мере чтения чанками по 64 КБ.
GET /attachments/{id} и /content – только участникам чата, без redirect. Посторонний → 404.
Message.attachment_ids – обязательное поле; text="" с хотя бы одним вложением валиден.
В upload_attachment есть компенсация: если запись метаданных упала после S3 PUT, объект удаляется.
scripts/reconcile.py – сверка S3 и БД с grace period 1 час, dry-run и apply; свежие объекты не удаляются, metadata без объекта логируется.
Потоковое чтение _read_limited – лимит RAM на одну загрузку.
Трек 1 – presigned upload
POST /chats/{chat_id}/attachments/presign?filename=&size=&content_type= → 201 {upload_url, attachment_id, expires_in}. Подпись 300 секунд, ключ uploads/{chat_id}/{uuid}, статус pending.
Клиент делает PUT напрямую в MinIO.
POST /attachments/{id}/complete проверяет: объект есть (stat_object), размер совпадает, MIME по содержимому, content_type совпадает; после – ready, sha256 и фактический размер.
Обязательный proxy endpoint сохранён и работает.
Негативные сценарии: подменённая подпись → 403, complete без объекта → 409, complete чужого id → 404, complete не в pending → 409.
Сравнение proxy vs presigned (scripts/presign_compare.py, 1 MiB и 9 MiB): proxy гонит тело через API, presigned – напрямую в MinIO; через API только метаданные подписи и complete.
Bucket bootstrap идемпотентен; отдельные S3-credentials (api-user); консоль не опубликована; private bucket вне API – 403.
Трек 1 – presigned
student-tests/test_presigned.py – 5 passed: happy path, bad signature → 403, complete без объекта → 409, чужой id → 404, proxy endpoint сохранён.
Сравнение proxy vs presigned:
Размер
Режим
Время, с
RAM baseline, MiB
RAM peak, MiB
Δ RAM, MiB
1 MiB
proxy
2.47
48.9
48.9
0.0
1 MiB
presigned
5.08
48.9
49.3
0.4
9 MiB
proxy
3.09
49.3
49.3
0.0
9 MiB
presigned
4.76
49.3
50.2
0.9
Presigned переносит передачу байтов с API на MinIO; proxy endpoint сохранён. Presigned медленнее одного upload (два раунда + проверка в complete), но через API идут только метаданные.
RAM-замер через docker stats --no-stream недостаточно чувствителен – ограничение названо в отчёте.
Ограничения
Один Docker-хост: PostgreSQL, Valkey, MinIO, Nginx – SPOF; репликации нет.
HTTP без TLS.
Presigned URL живёт 5 минут; незавершённые pending не удаляются автоматически.
Idempotency-Key защищает только POST сообщений.
RAM-замер через docker stats --no-stream недостаточно чувствителен.
scripts/reconcile.py:41: объекты с записью pending считаются известными и всегда пропускаются, а незавершённые записи без объекта только попадают в журнал. Реализуйте требуемую треком 1 очистку просроченных незавершённых загрузок: после безопасного срока удалять их временные объекты и метаданные, сохраняя активные и завершённые вложения.
При отключённом S3 upload не ответил за 35 секунд. Требуются явные таймауты операций и предсказуемая ошибка недоступности. app/s3.py:17.
- [scripts/reconcile.py:41](https://gitea.privcloud.tech/queenfish/mtusi2026lab4/src/commit/32e105cc87392efd1a16330640c27cbea5663a46/scripts/reconcile.py#L41): объекты с записью pending считаются известными и всегда пропускаются, а незавершённые записи без объекта только попадают в журнал. Реализуйте требуемую треком 1 очистку просроченных незавершённых загрузок: после безопасного срока удалять их временные объекты и метаданные, сохраняя активные и завершённые вложения.
- При отключённом S3 upload не ответил за 35 секунд. Требуются явные таймауты операций и предсказуемая ошибка недоступности. [app/s3.py:17](https://gitea.privcloud.tech/queenfish/mtusi2026lab4/src/commit/32e105cc87392efd1a16330640c27cbea5663a46/app/s3.py#L17).
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Кузнецова Марина / БВТ2304
Целевая оценка: 5, трек 1 «Прямой upload (presigned)»
Что реализовано
Инфраструктура
compose.yaml), приватный bucketattachments, volumeminio_data.minio-init– идемпотентный bootstrap:mc mb --ignore-existing,mc anonymous set none, создание пользователяapi-userс ограниченными правами (|| trueдля повторного запуска).attachments,message_attachments), байты – в MinIO. В БД и на локальном диске API байтов нет.api-user), не root. Консоль MinIO9001наружу не публикуется, только127.0.0.1:9000.nginx.conf:client_max_body_size 11m, таймауты 60 с,proxy_next_upstream.Код приложения
POST /chats/{chat_id}/attachments?filename=– сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей. MIME по содержимому (PIL.Image.open+verify()), опасный filename → 400, лимит проверяется по мере чтения чанками по 64 КБ.GET /attachments/{id}и/content– только участникам чата, без redirect. Посторонний → 404.Message.attachment_ids– обязательное поле;text=""с хотя бы одним вложением валиден.upload_attachmentесть компенсация: если запись метаданных упала после S3 PUT, объект удаляется.scripts/reconcile.py– сверка S3 и БД с grace period 1 час, dry-run и apply; свежие объекты не удаляются, metadata без объекта логируется._read_limited– лимит RAM на одну загрузку.Трек 1 – presigned upload
POST /chats/{chat_id}/attachments/presign?filename=&size=&content_type=→201 {upload_url, attachment_id, expires_in}. Подпись 300 секунд, ключuploads/{chat_id}/{uuid}, статусpending.PUTнапрямую в MinIO.POST /attachments/{id}/completeпроверяет: объект есть (stat_object), размер совпадает, MIME по содержимому,content_typeсовпадает; после –ready,sha256и фактический размер.pending→ 409.scripts/presign_compare.py, 1 MiB и 9 MiB): proxy гонит тело через API, presigned – напрямую в MinIO; через API только метаданные подписи и complete.Команды запуска
Проверка готовности:
Проверки:
Проверка приватности bucket снаружи:
Ожидаемо:
403 AccessDenied.Результаты
Уровень 3
Messageсattachment_idsчитается участниками; посторонний → 404.Уровень 4
student-tests/test_attachments.py): oversize → 413, corrupted → 415, MIME spoof → 415, опасный filename → 400, пустой файл → 415, чужой не скачивает → 404, чужойattachment_id→ 404,text=""без вложений → 400,text=""с вложением → 201, «не 500» – 10 passed.orphans_found=0,fresh_skipped=0,metadata_without_object=0(dry-run и apply).errors: 0, baseline 50.9 MiB, peak 164.9 MiB, delta 114.0 MiB, лимит 256 MiB.api-user); консоль не опубликована; private bucket вне API – 403.Трек 1 – presigned
student-tests/test_presigned.py– 5 passed: happy path, bad signature → 403, complete без объекта → 409, чужой id → 404, proxy endpoint сохранён.docker stats --no-streamнедостаточно чувствителен – ограничение названо в отчёте.Ограничения
pendingне удаляются автоматически.Idempotency-Keyзащищает только POST сообщений.docker stats --no-streamнедостаточно чувствителен.Ссылка на отчёт
REPORT.mdв корне репозитория.Чек-лист
smoke,persistence,failoverпроходят.README.mdзадания сохранён,REPORT.mdзаполнен.Принято. Закрываю МР.
Переоткрой пожалуйста мр)
Pull request closed