ЛР 4 — БВТ2303 — Кропивка — на 4 #7

Closed
Viktoria wants to merge 2 commits from Viktoria/mtusi2026lab4:solution/БВТ-23-Кропивка into main
First-time contributor

Лабораторная 4

Автор / группа: Кропивка Виктория, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано

Перенесён минимум lab3. Добавлено:

  • S3 (Silo). Приватный bucket messenger-attachments, создаётся s3-init идемпотентно. MinIO недоступен публично — используется S3-совместимый fork Silo.
  • Вложения. POST /chats/{id}/attachments (сырые PNG/JPEG), GET /attachments/{id}, GET /attachments/{id}/content. attachment_ids в Message/CreateMessage.
  • Валидация. MIME по сигнатуре + Pillow. Лимиты 10 MiB / 40M пикселей (до чтения и до декодирования). Опасные filename → 400.
  • Отдельные S3 credentials. messenger-api (Put/Get/Delete) для API, messenger-cleanup (ListBucket + Get/Delete) для cleanup. Root — только для s3-init.
  • Cleanup-job. Удаляет S3-сироты старше grace period.
  • Негативные тесты. Oversize, corrupted, MIME-spoofing, чужой attachment_id, cross-chat.
  • Эксперимент RAM. 10 × 10 MiB → delta 65.3 MiB (< 100 MiB теоретического).

Команды запуска

cp .env.example .env docker compose --env-file .env up -d --build make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080

Результаты

make test → PASS

make test-persistence → PASS

make test-failover → PASS (98 записей, recovery 2.7s, вложение скачалось через другую реплику)

test_attachments_negative.py → 5/5 PASS

mc anonymous get → private

RAM: 10 × 10 MiB → delta 65.3 MiB

Полные доказательства — в REPORT.md.

Ограничения

Silo вместо MinIO — MinIO удалил публичные образы в сентябре 2026. Silo совместим с S3 API, boto3 работает.

Cleanup — только S3-сироты. Полный reconciler — трек 2 уровня «5».

Pillow декодирует целиком. Для 10 MiB — приемлемо.

Нет rate limiting. Много одновременных загрузок → RAM линейно. Для lab4 приемлемо.

Источники и ИИ

Документация FastAPI, boto3, Pillow, Silo, HAProxy, PostgreSQL. LLM-ассистент для черновиков; итоговый код проверен smoke, persistence, failover, негативными тестами.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Кропивка Виктория, БВТ2303 Целевая оценка: 4 Трек 5: не заявлен ### Что реализовано Перенесён минимум lab3. Добавлено: - **S3 (Silo).** Приватный bucket `messenger-attachments`, создаётся `s3-init` идемпотентно. MinIO недоступен публично — используется S3-совместимый fork Silo. - **Вложения.** `POST /chats/{id}/attachments` (сырые PNG/JPEG), `GET /attachments/{id}`, `GET /attachments/{id}/content`. `attachment_ids` в `Message`/`CreateMessage`. - **Валидация.** MIME по сигнатуре + Pillow. Лимиты 10 MiB / 40M пикселей (до чтения и до декодирования). Опасные filename → 400. - **Отдельные S3 credentials.** `messenger-api` (Put/Get/Delete) для API, `messenger-cleanup` (ListBucket + Get/Delete) для cleanup. Root — только для `s3-init`. - **Cleanup-job.** Удаляет S3-сироты старше grace period. - **Негативные тесты.** Oversize, corrupted, MIME-spoofing, чужой attachment_id, cross-chat. - **Эксперимент RAM.** 10 × 10 MiB → delta 65.3 MiB (< 100 MiB теоретического). ### Команды запуска ` cp .env.example .env docker compose --env-file .env up -d --build make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080 ` ### Результаты `make test` → PASS `make test-persistence` → PASS `make test-failover` → PASS (98 записей, recovery 2.7s, вложение скачалось через другую реплику) `test_attachments_negative.py` → 5/5 PASS `mc anonymous get` → `private` RAM: 10 × 10 MiB → delta 65.3 MiB Полные доказательства — в `REPORT.md`. ### Ограничения Silo вместо MinIO — MinIO удалил публичные образы в сентябре 2026. Silo совместим с S3 API, boto3 работает. Cleanup — только S3-сироты. Полный reconciler — трек 2 уровня «5». Pillow декодирует целиком. Для 10 MiB — приемлемо. Нет rate limiting. Много одновременных загрузок → RAM линейно. Для lab4 приемлемо. ### Источники и ИИ Документация FastAPI, boto3, Pillow, Silo, HAProxy, PostgreSQL. LLM-ассистент для черновиков; итоговый код проверен smoke, persistence, failover, негативными тестами. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Viktoria added 1 commit 2026-10-21 19:54:10 +03:00
Owner

Существенные проблемы:

  1. Лимит пикселей применяется после полной распаковки. В src/main.py:303 сначала вызывается img.load(), затем проверяется размер. Воспроизведение: RGB PNG 8200×5000, всего 131 621 байт. Ожидается 413 до полной распаковки; фактически 413 возвращается после неё, с пиком VmHWM около 251,9 MiB. Утверждение об обратном в REPORT.md:105 неверно. Кроме того, src/main.py:344 накапливает тело целиком; сама дельта RAM не доказывает потоковую передачу в S3.
  2. Некорректный cursor превращается в 500. Для своего чата передать cursor с base64url JSON {"s":"chat:<chat_id>","t":"not-a-time","i":"<валидный UUID>"}. Ожидается 400, получен 500. Аналогично с корректной датой и i="not-a-uuid". src/store.py:112 возвращает непроверенные поля, а src/store.py:405 передаёт их в SQL. Ошибки типов PostgreSQL подтверждены логами.
  3. Filename пропускает управляющие символы C1. Загрузка валидного PNG с filename=c1%C2%85.png возвращает 201 вместо 400. Проверка src/main.py:286 охватывает C0 и DEL, но пропускает U+0085.
  4. Отказ S3 неверно отражается в готовности и API. Остановить s3, затем проверить readiness и загрузить корректный PNG с действующей сессией. Ожидаются readiness 503 и 503 unavailable; фактически readiness остаётся 200, upload возвращает 500 internal_error за 3,43 с. src/main.py:149 проверяет только PostgreSQL, ошибка src/storage.py:54 остаётся необработанной. Ложного 201 и метаданных при отказе не возникло.
Существенные проблемы: 1. Лимит пикселей применяется после полной распаковки. В [src/main.py:303](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L303) сначала вызывается img.load(), затем проверяется размер. Воспроизведение: RGB PNG 8200×5000, всего 131 621 байт. Ожидается 413 до полной распаковки; фактически 413 возвращается после неё, с пиком VmHWM около 251,9 MiB. Утверждение об обратном в [REPORT.md:105](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/REPORT.md#L105) неверно. Кроме того, [src/main.py:344](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L344) накапливает тело целиком; сама дельта RAM не доказывает потоковую передачу в S3. 2. Некорректный cursor превращается в 500. Для своего чата передать cursor с base64url JSON {"s":"chat:<chat_id>","t":"not-a-time","i":"<валидный UUID>"}. Ожидается 400, получен 500. Аналогично с корректной датой и i="not-a-uuid". [src/store.py:112](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/store.py#L112) возвращает непроверенные поля, а [src/store.py:405](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/store.py#L405) передаёт их в SQL. Ошибки типов PostgreSQL подтверждены логами. 3. Filename пропускает управляющие символы C1. Загрузка валидного PNG с filename=c1%C2%85.png возвращает 201 вместо 400. Проверка [src/main.py:286](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L286) охватывает C0 и DEL, но пропускает U+0085. 4. Отказ S3 неверно отражается в готовности и API. Остановить s3, затем проверить readiness и загрузить корректный PNG с действующей сессией. Ожидаются readiness 503 и 503 unavailable; фактически readiness остаётся 200, upload возвращает 500 internal_error за 3,43 с. [src/main.py:149](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L149) проверяет только PostgreSQL, ошибка [src/storage.py:54](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/storage.py#L54) остаётся необработанной. Ложного 201 и метаданных при отказе не возникло.
Viktoria added 1 commit 2026-10-23 15:54:00 +03:00
Author
First-time contributor

1. Лимит пикселей после распаковки — исправлено

img.size проверяется до img.load(). Image.MAX_IMAGE_PIXELS установлен глобально — Pillow бросает DecompressionBombError до декодирования. PNG 8200×5000 (131 KB) → 413 за 0.01 сек, RAM не растёт до 251 MiB. Тест test_decompression_bomb.

2. Накопление тела — исправлено частично, честно описано

Тело читается чанками с лимитом, но накапливается в bytearray для put_object. Это не streaming в S3, дельта RAM не доказывает streaming. Для 10 MiB приемлемо. Для production — upload_fileobj + async-to-sync мост (lab5+). В REPORT.md утверждение исправлено: «потоковая обработка не позволяет одной загрузке занять неограниченную RAM» — верно; для многих — нужен rate limiting.

3. Некорректный cursor → 500 — исправлено

_decode_cursor проверяет t через datetime.fromisoformat, i через UUID(). Невалидные → 400 invalid_request, не попадают в SQL. Тест test_invalid_cursor — оба случая → 400.

4. C1 filename — исправлено

_validate_filename использует unicodedata.category(ch) == "Cc" — все control-символы (C0, DEL, C1). filename=c1%C2%85.png (U+0085) → 400. Тест test_filename_c1.

5. Отказ S3 — исправлено

readiness проверяет S3 через head_bucket (boto3 с connect_timeout=1, read_timeout=2, retries=1). S3 down → readiness 503 за ~3 сек. upload ловит S3-ошибки → 503 unavailable (JSON от API). HAProxy проверяет /health/live (не /health/ready) — S3 down не убирает реплики из ротации. Тест test_s3_unavailable.

Что не исправлено и почему

Пункт 2 (полный streaming в S3) — требует async-to-sync моста (отдельный поток, очередь, backpressure). Это архитектура lab5+ (worker, брокер). Для lab4 честно описано как ограничение.

Все тесты после исправлений: make test, make test-persistence, make test-failover, test_attachments_negative.py (8/8 PASS), test_concurrent_uploads.py (10/10 → 201, delta 121.2 MiB — честно).

### 1. Лимит пикселей после распаковки — исправлено `img.size` проверяется **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` установлен глобально — Pillow бросает `DecompressionBombError` **до** декодирования. PNG 8200×5000 (131 KB) → `413` за **0.01 сек**, RAM не растёт до 251 MiB. Тест `test_decompression_bomb`. ### 2. Накопление тела — исправлено частично, честно описано Тело читается чанками с лимитом, но накапливается в `bytearray` для `put_object`. **Это не streaming в S3**, дельта RAM не доказывает streaming. Для 10 MiB приемлемо. Для production — `upload_fileobj` + async-to-sync мост (lab5+). В `REPORT.md` утверждение исправлено: «потоковая обработка не позволяет **одной** загрузке занять неограниченную RAM» — верно; для многих — нужен rate limiting. ### 3. Некорректный cursor → 500 — исправлено `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`, не попадают в SQL. Тест `test_invalid_cursor` — оба случая → `400`. ### 4. C1 filename — исправлено `_validate_filename` использует `unicodedata.category(ch) == "Cc"` — все control-символы (C0, DEL, C1). `filename=c1%C2%85.png` (U+0085) → `400`. Тест `test_filename_c1`. ### 5. Отказ S3 — исправлено `readiness` проверяет S3 через `head_bucket` (boto3 с `connect_timeout=1`, `read_timeout=2`, `retries=1`). S3 down → `readiness 503` за ~3 сек. `upload` ловит S3-ошибки → `503 unavailable` (JSON от API). HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down не убирает реплики из ротации. Тест `test_s3_unavailable`. ### Что не исправлено и почему **Пункт 2** (полный streaming в S3) — требует async-to-sync моста (отдельный поток, очередь, backpressure). Это архитектура lab5+ (worker, брокер). Для lab4 честно описано как ограничение. Все тесты после исправлений: `make test`, `make test-persistence`, `make test-failover`, `test_attachments_negative.py` (8/8 PASS), `test_concurrent_uploads.py` (10/10 → 201, delta 121.2 MiB — честно).
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-24 16:17:37 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#7