ЛР4 - БВТ2304 - Кузнецова - на 5 #21

Closed
queenfish wants to merge 1 commits from queenfish/mtusi2026lab4:solution/kuznetsova-bvt2304 into main
First-time contributor

Лабораторная 4

Автор / группа: Кузнецова Марина / БВТ2304
Целевая оценка: 5, трек 1 «Прямой upload (presigned)»

Что реализовано

Инфраструктура

  • MinIO в общем стенде (compose.yaml), приватный bucket attachments, volume minio_data.
  • minio-init – идемпотентный bootstrap: mc mb --ignore-existing, mc anonymous set none, создание пользователя api-user с ограниченными правами (|| true для повторного запуска).
  • Метаданные вложений – в PostgreSQL (таблицы attachments, message_attachments), байты – в MinIO. В БД и на локальном диске API байтов нет.
  • API использует отдельные S3-credentials (api-user), не root. Консоль MinIO 9001 наружу не публикуется, только 127.0.0.1:9000.
  • Минимум lab3 сохранён: две реплики API за Nginx, общие PostgreSQL и Valkey, идемпотентность, failover, persistence.
  • nginx.conf: client_max_body_size 11m, таймауты 60 с, proxy_next_upstream.

Код приложения

  • POST /chats/{chat_id}/attachments?filename= – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей. MIME по содержимому (PIL.Image.open + verify()), опасный filename → 400, лимит проверяется по мере чтения чанками по 64 КБ.
  • GET /attachments/{id} и /content – только участникам чата, без redirect. Посторонний → 404.
  • Message.attachment_ids – обязательное поле; text="" с хотя бы одним вложением валиден.
  • В upload_attachment есть компенсация: если запись метаданных упала после S3 PUT, объект удаляется.
  • scripts/reconcile.py – сверка S3 и БД с grace period 1 час, dry-run и apply; свежие объекты не удаляются, metadata без объекта логируется.
  • Потоковое чтение _read_limited – лимит RAM на одну загрузку.

Трек 1 – presigned upload

  • POST /chats/{chat_id}/attachments/presign?filename=&size=&content_type= → 201 {upload_url, attachment_id, expires_in}. Подпись 300 секунд, ключ uploads/{chat_id}/{uuid}, статус pending.
  • Клиент делает PUT напрямую в MinIO.
  • POST /attachments/{id}/complete проверяет: объект есть (stat_object), размер совпадает, MIME по содержимому, content_type совпадает; после – ready, sha256 и фактический размер.
  • Обязательный proxy endpoint сохранён и работает.
  • Негативные сценарии: подменённая подпись → 403, complete без объекта → 409, complete чужого id → 404, complete не в pending → 409.
  • Сравнение proxy vs presigned (scripts/presign_compare.py, 1 MiB и 9 MiB): proxy гонит тело через API, presigned – напрямую в MinIO; через API только метаданные подписи и complete.

Команды запуска

cp .env.example .env
docker compose --env-file .env up -d --build --scale api=2

Проверка готовности:

curl.exe http://localhost:8080/health/ready

Проверки:

python -X utf8 tests/smoke.py --base-url http://localhost:8080
python -X utf8 -m pytest student-tests/ -v --ignore=student-tests/test_resilience.py
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080
docker compose cp scripts/reconcile.py api:/tmp/reconcile.py
docker compose exec -T api python /tmp/reconcile.py --dry-run
docker compose exec -T api python /tmp/reconcile.py
python -X utf8 scripts/ram_experiment.py
python -X utf8 scripts/presign_compare.py

Проверка приватности bucket снаружи:

docker compose exec -T postgres psql -U messenger -d messenger -c "SELECT chat_id, id FROM attachments LIMIT 1;"
curl.exe -i http://localhost:9000/attachments/<chat_id>/<id>

Ожидаемо: 403 AccessDenied.

Результаты

Уровень 3

  • Публичный smoke: PASS.
  • Метаданные в PostgreSQL, байты в приватном bucket; прямой GET без credentials → 403 AccessDenied.
  • POST вложения → 201 ready, оригинал скачивается побайтно, sha256 и размер совпадают.
  • Message с attachment_ids читается участниками; посторонний → 404.
  • Upload → остановка реплики → download через другую: PASS, recovery 5.171 с, 7 записей, 0 ошибок.
  • Persistence: PASS.

Уровень 4

  • Негативные тесты (student-tests/test_attachments.py): oversize → 413, corrupted → 415, MIME spoof → 415, опасный filename → 400, пустой файл → 415, чужой не скачивает → 404, чужой attachment_id → 404, text="" без вложений → 400, text="" с вложением → 201, «не 500» – 10 passed.
  • Reconciler: orphans_found=0, fresh_skipped=0, metadata_without_object=0 (dry-run и apply).
  • RAM-эксперимент: 10 × 9 MiB, errors: 0, baseline 50.9 MiB, peak 164.9 MiB, delta 114.0 MiB, лимит 256 MiB.
  • Bucket bootstrap идемпотентен; отдельные S3-credentials (api-user); консоль не опубликована; private bucket вне API – 403.

Трек 1 – presigned

  • student-tests/test_presigned.py – 5 passed: happy path, bad signature → 403, complete без объекта → 409, чужой id → 404, proxy endpoint сохранён.
  • Сравнение proxy vs presigned:
Размер Режим Время, с RAM baseline, MiB RAM peak, MiB Δ RAM, MiB
1 MiB proxy 2.47 48.9 48.9 0.0
1 MiB presigned 5.08 48.9 49.3 0.4
9 MiB proxy 3.09 49.3 49.3 0.0
9 MiB presigned 4.76 49.3 50.2 0.9
  • Presigned переносит передачу байтов с API на MinIO; proxy endpoint сохранён. Presigned медленнее одного upload (два раунда + проверка в complete), но через API идут только метаданные.
  • RAM-замер через docker stats --no-stream недостаточно чувствителен – ограничение названо в отчёте.

Ограничения

  • Один Docker-хост: PostgreSQL, Valkey, MinIO, Nginx – SPOF; репликации нет.
  • HTTP без TLS.
  • Presigned URL живёт 5 минут; незавершённые pending не удаляются автоматически.
  • Idempotency-Key защищает только POST сообщений.
  • RAM-замер через docker stats --no-stream недостаточно чувствителен.

Ссылка на отчёт

REPORT.md в корне репозитория.

Чек-лист

  • Обязательный минимум уровней 3 и 4 сохранён.
  • Контракт и публичные тесты не ослаблены.
  • smoke, persistence, failover проходят.
  • Сценарии отказов воспроизведены.
  • Секреты и приватные ключи вне Git.
  • README.md задания сохранён, REPORT.md заполнен.
  • Трек 1 завершён: presigned flow, негативные сценарии, сравнение proxy vs presigned, ограничения.
# Лабораторная 4 **Автор / группа:** Кузнецова Марина / БВТ2304 **Целевая оценка:** 5, трек 1 «Прямой upload (presigned)» ## Что реализовано ### Инфраструктура - MinIO в общем стенде (`compose.yaml`), приватный bucket `attachments`, volume `minio_data`. - `minio-init` – идемпотентный bootstrap: `mc mb --ignore-existing`, `mc anonymous set none`, создание пользователя `api-user` с ограниченными правами (`|| true` для повторного запуска). - Метаданные вложений – в PostgreSQL (таблицы `attachments`, `message_attachments`), байты – в MinIO. В БД и на локальном диске API байтов нет. - API использует отдельные S3-credentials (`api-user`), не root. Консоль MinIO `9001` наружу не публикуется, только `127.0.0.1:9000`. - Минимум lab3 сохранён: две реплики API за Nginx, общие PostgreSQL и Valkey, идемпотентность, failover, persistence. - `nginx.conf`: `client_max_body_size 11m`, таймауты 60 с, `proxy_next_upstream`. ### Код приложения - `POST /chats/{chat_id}/attachments?filename=` – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей. MIME по содержимому (`PIL.Image.open` + `verify()`), опасный filename → 400, лимит проверяется по мере чтения чанками по 64 КБ. - `GET /attachments/{id}` и `/content` – только участникам чата, без redirect. Посторонний → 404. - `Message.attachment_ids` – обязательное поле; `text=""` с хотя бы одним вложением валиден. - В `upload_attachment` есть компенсация: если запись метаданных упала после S3 PUT, объект удаляется. - `scripts/reconcile.py` – сверка S3 и БД с grace period 1 час, dry-run и apply; свежие объекты не удаляются, metadata без объекта логируется. - Потоковое чтение `_read_limited` – лимит RAM на одну загрузку. ### Трек 1 – presigned upload - `POST /chats/{chat_id}/attachments/presign?filename=&size=&content_type=` → `201 {upload_url, attachment_id, expires_in}`. Подпись 300 секунд, ключ `uploads/{chat_id}/{uuid}`, статус `pending`. - Клиент делает `PUT` напрямую в MinIO. - `POST /attachments/{id}/complete` проверяет: объект есть (`stat_object`), размер совпадает, MIME по содержимому, `content_type` совпадает; после – `ready`, `sha256` и фактический размер. - Обязательный proxy endpoint сохранён и работает. - Негативные сценарии: подменённая подпись → 403, complete без объекта → 409, complete чужого id → 404, complete не в `pending` → 409. - Сравнение proxy vs presigned (`scripts/presign_compare.py`, 1 MiB и 9 MiB): proxy гонит тело через API, presigned – напрямую в MinIO; через API только метаданные подписи и complete. ## Команды запуска ```sh cp .env.example .env docker compose --env-file .env up -d --build --scale api=2 ``` Проверка готовности: ```sh curl.exe http://localhost:8080/health/ready ``` Проверки: ```sh python -X utf8 tests/smoke.py --base-url http://localhost:8080 python -X utf8 -m pytest student-tests/ -v --ignore=student-tests/test_resilience.py python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080 python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080 docker compose cp scripts/reconcile.py api:/tmp/reconcile.py docker compose exec -T api python /tmp/reconcile.py --dry-run docker compose exec -T api python /tmp/reconcile.py python -X utf8 scripts/ram_experiment.py python -X utf8 scripts/presign_compare.py ``` Проверка приватности bucket снаружи: ```sh docker compose exec -T postgres psql -U messenger -d messenger -c "SELECT chat_id, id FROM attachments LIMIT 1;" curl.exe -i http://localhost:9000/attachments/<chat_id>/<id> ``` Ожидаемо: `403 AccessDenied`. ## Результаты ### Уровень 3 - Публичный smoke: PASS. - Метаданные в PostgreSQL, байты в приватном bucket; прямой GET без credentials → 403 AccessDenied. - POST вложения → 201 ready, оригинал скачивается побайтно, sha256 и размер совпадают. - `Message` с `attachment_ids` читается участниками; посторонний → 404. - Upload → остановка реплики → download через другую: PASS, recovery 5.171 с, 7 записей, 0 ошибок. - Persistence: PASS. ### Уровень 4 - Негативные тесты (`student-tests/test_attachments.py`): oversize → 413, corrupted → 415, MIME spoof → 415, опасный filename → 400, пустой файл → 415, чужой не скачивает → 404, чужой `attachment_id` → 404, `text=""` без вложений → 400, `text=""` с вложением → 201, «не 500» – 10 passed. - Reconciler: `orphans_found=0`, `fresh_skipped=0`, `metadata_without_object=0` (dry-run и apply). - RAM-эксперимент: 10 × 9 MiB, `errors: 0`, baseline 50.9 MiB, peak 164.9 MiB, delta 114.0 MiB, лимит 256 MiB. - Bucket bootstrap идемпотентен; отдельные S3-credentials (`api-user`); консоль не опубликована; private bucket вне API – 403. ### Трек 1 – presigned - `student-tests/test_presigned.py` – 5 passed: happy path, bad signature → 403, complete без объекта → 409, чужой id → 404, proxy endpoint сохранён. - Сравнение proxy vs presigned: | Размер | Режим | Время, с | RAM baseline, MiB | RAM peak, MiB | Δ RAM, MiB | |---|---|---|---|---|---| | 1 MiB | proxy | 2.47 | 48.9 | 48.9 | 0.0 | | 1 MiB | presigned | 5.08 | 48.9 | 49.3 | 0.4 | | 9 MiB | proxy | 3.09 | 49.3 | 49.3 | 0.0 | | 9 MiB | presigned | 4.76 | 49.3 | 50.2 | 0.9 | - Presigned переносит передачу байтов с API на MinIO; proxy endpoint сохранён. Presigned медленнее одного upload (два раунда + проверка в complete), но через API идут только метаданные. - RAM-замер через `docker stats --no-stream` недостаточно чувствителен – ограничение названо в отчёте. ## Ограничения - Один Docker-хост: PostgreSQL, Valkey, MinIO, Nginx – SPOF; репликации нет. - HTTP без TLS. - Presigned URL живёт 5 минут; незавершённые `pending` не удаляются автоматически. - `Idempotency-Key` защищает только POST сообщений. - RAM-замер через `docker stats --no-stream` недостаточно чувствителен. ## Ссылка на отчёт `REPORT.md` в корне репозитория. ## Чек-лист - Обязательный минимум уровней 3 и 4 сохранён. - Контракт и публичные тесты не ослаблены. - `smoke`, `persistence`, `failover` проходят. - Сценарии отказов воспроизведены. - Секреты и приватные ключи вне Git. - `README.md` задания сохранён, `REPORT.md` заполнен. - Трек 1 завершён: presigned flow, негативные сценарии, сравнение proxy vs presigned, ограничения.
queenfish added 1 commit 2026-10-29 00:17:33 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:09:14 +03:00
Owner
  • scripts/reconcile.py:41: объекты с записью pending считаются известными и всегда пропускаются, а незавершённые записи без объекта только попадают в журнал. Реализуйте требуемую треком 1 очистку просроченных незавершённых загрузок: после безопасного срока удалять их временные объекты и метаданные, сохраняя активные и завершённые вложения.
  • При отключённом S3 upload не ответил за 35 секунд. Требуются явные таймауты операций и предсказуемая ошибка недоступности. app/s3.py:17.
- [scripts/reconcile.py:41](https://gitea.privcloud.tech/queenfish/mtusi2026lab4/src/commit/32e105cc87392efd1a16330640c27cbea5663a46/scripts/reconcile.py#L41): объекты с записью pending считаются известными и всегда пропускаются, а незавершённые записи без объекта только попадают в журнал. Реализуйте требуемую треком 1 очистку просроченных незавершённых загрузок: после безопасного срока удалять их временные объекты и метаданные, сохраняя активные и завершённые вложения. - При отключённом S3 upload не ответил за 35 секунд. Требуются явные таймауты операций и предсказуемая ошибка недоступности. [app/s3.py:17](https://gitea.privcloud.tech/queenfish/mtusi2026lab4/src/commit/32e105cc87392efd1a16330640c27cbea5663a46/app/s3.py#L17).
Owner

Переоткрой пожалуйста мр)

Переоткрой пожалуйста мр)

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
3 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#21