cp .env.example .env docker compose --env-file .env up -d --build make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080
Результаты
make test → PASS
make test-persistence → PASS
make test-failover → PASS (98 записей, recovery 2.7s, вложение скачалось через другую реплику)
test_attachments_negative.py → 5/5 PASS
mc anonymous get → private
RAM: 10 × 10 MiB → delta 65.3 MiB
Полные доказательства — в REPORT.md.
Ограничения
Silo вместо MinIO — MinIO удалил публичные образы в сентябре 2026. Silo совместим с S3 API, boto3 работает.
Cleanup — только S3-сироты. Полный reconciler — трек 2 уровня «5».
Pillow декодирует целиком. Для 10 MiB — приемлемо.
Нет rate limiting. Много одновременных загрузок → RAM линейно. Для lab4 приемлемо.
Источники и ИИ
Документация FastAPI, boto3, Pillow, Silo, HAProxy, PostgreSQL. LLM-ассистент для черновиков; итоговый код проверен smoke, persistence, failover, негативными тестами.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: Кропивка Виктория, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен
### Что реализовано
Перенесён минимум lab3. Добавлено:
- **S3 (Silo).** Приватный bucket `messenger-attachments`, создаётся `s3-init` идемпотентно. MinIO недоступен публично — используется S3-совместимый fork Silo.
- **Вложения.** `POST /chats/{id}/attachments` (сырые PNG/JPEG), `GET /attachments/{id}`, `GET /attachments/{id}/content`. `attachment_ids` в `Message`/`CreateMessage`.
- **Валидация.** MIME по сигнатуре + Pillow. Лимиты 10 MiB / 40M пикселей (до чтения и до декодирования). Опасные filename → 400.
- **Отдельные S3 credentials.** `messenger-api` (Put/Get/Delete) для API, `messenger-cleanup` (ListBucket + Get/Delete) для cleanup. Root — только для `s3-init`.
- **Cleanup-job.** Удаляет S3-сироты старше grace period.
- **Негативные тесты.** Oversize, corrupted, MIME-spoofing, чужой attachment_id, cross-chat.
- **Эксперимент RAM.** 10 × 10 MiB → delta 65.3 MiB (< 100 MiB теоретического).
### Команды запуска
`
cp .env.example .env
docker compose --env-file .env up -d --build
make test BASE_URL=http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080
`
### Результаты
`make test` → PASS
`make test-persistence` → PASS
`make test-failover` → PASS (98 записей, recovery 2.7s, вложение скачалось через другую реплику)
`test_attachments_negative.py` → 5/5 PASS
`mc anonymous get` → `private`
RAM: 10 × 10 MiB → delta 65.3 MiB
Полные доказательства — в `REPORT.md`.
### Ограничения
Silo вместо MinIO — MinIO удалил публичные образы в сентябре 2026. Silo совместим с S3 API, boto3 работает.
Cleanup — только S3-сироты. Полный reconciler — трек 2 уровня «5».
Pillow декодирует целиком. Для 10 MiB — приемлемо.
Нет rate limiting. Много одновременных загрузок → RAM линейно. Для lab4 приемлемо.
### Источники и ИИ
Документация FastAPI, boto3, Pillow, Silo, HAProxy, PostgreSQL. LLM-ассистент для черновиков; итоговый код проверен smoke, persistence, failover, негативными тестами.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Лимит пикселей применяется после полной распаковки. В src/main.py:303 сначала вызывается img.load(), затем проверяется размер. Воспроизведение: RGB PNG 8200×5000, всего 131 621 байт. Ожидается 413 до полной распаковки; фактически 413 возвращается после неё, с пиком VmHWM около 251,9 MiB. Утверждение об обратном в REPORT.md:105 неверно. Кроме того, src/main.py:344 накапливает тело целиком; сама дельта RAM не доказывает потоковую передачу в S3.
Некорректный cursor превращается в 500. Для своего чата передать cursor с base64url JSON {"s":"chat:<chat_id>","t":"not-a-time","i":"<валидный UUID>"}. Ожидается 400, получен 500. Аналогично с корректной датой и i="not-a-uuid". src/store.py:112 возвращает непроверенные поля, а src/store.py:405 передаёт их в SQL. Ошибки типов PostgreSQL подтверждены логами.
Filename пропускает управляющие символы C1. Загрузка валидного PNG с filename=c1%C2%85.png возвращает 201 вместо 400. Проверка src/main.py:286 охватывает C0 и DEL, но пропускает U+0085.
Отказ S3 неверно отражается в готовности и API. Остановить s3, затем проверить readiness и загрузить корректный PNG с действующей сессией. Ожидаются readiness 503 и 503 unavailable; фактически readiness остаётся 200, upload возвращает 500 internal_error за 3,43 с. src/main.py:149 проверяет только PostgreSQL, ошибка src/storage.py:54 остаётся необработанной. Ложного 201 и метаданных при отказе не возникло.
Существенные проблемы:
1. Лимит пикселей применяется после полной распаковки. В [src/main.py:303](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L303) сначала вызывается img.load(), затем проверяется размер. Воспроизведение: RGB PNG 8200×5000, всего 131 621 байт. Ожидается 413 до полной распаковки; фактически 413 возвращается после неё, с пиком VmHWM около 251,9 MiB. Утверждение об обратном в [REPORT.md:105](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/REPORT.md#L105) неверно. Кроме того, [src/main.py:344](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L344) накапливает тело целиком; сама дельта RAM не доказывает потоковую передачу в S3.
2. Некорректный cursor превращается в 500. Для своего чата передать cursor с base64url JSON {"s":"chat:<chat_id>","t":"not-a-time","i":"<валидный UUID>"}. Ожидается 400, получен 500. Аналогично с корректной датой и i="not-a-uuid". [src/store.py:112](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/store.py#L112) возвращает непроверенные поля, а [src/store.py:405](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/store.py#L405) передаёт их в SQL. Ошибки типов PostgreSQL подтверждены логами.
3. Filename пропускает управляющие символы C1. Загрузка валидного PNG с filename=c1%C2%85.png возвращает 201 вместо 400. Проверка [src/main.py:286](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L286) охватывает C0 и DEL, но пропускает U+0085.
4. Отказ S3 неверно отражается в готовности и API. Остановить s3, затем проверить readiness и загрузить корректный PNG с действующей сессией. Ожидаются readiness 503 и 503 unavailable; фактически readiness остаётся 200, upload возвращает 500 internal_error за 3,43 с. [src/main.py:149](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/main.py#L149) проверяет только PostgreSQL, ошибка [src/storage.py:54](https://gitea.privcloud.tech/Viktoria/mtusi2026lab4/src/commit/652dfda832b25119c152e55624696c301af07855/src/storage.py#L54) остаётся необработанной. Ложного 201 и метаданных при отказе не возникло.
img.size проверяется доimg.load(). Image.MAX_IMAGE_PIXELS установлен глобально — Pillow бросает DecompressionBombErrorдо декодирования. PNG 8200×5000 (131 KB) → 413 за 0.01 сек, RAM не растёт до 251 MiB. Тест test_decompression_bomb.
2. Накопление тела — исправлено частично, честно описано
Тело читается чанками с лимитом, но накапливается в bytearray для put_object. Это не streaming в S3, дельта RAM не доказывает streaming. Для 10 MiB приемлемо. Для production — upload_fileobj + async-to-sync мост (lab5+). В REPORT.md утверждение исправлено: «потоковая обработка не позволяет одной загрузке занять неограниченную RAM» — верно; для многих — нужен rate limiting.
3. Некорректный cursor → 500 — исправлено
_decode_cursor проверяет t через datetime.fromisoformat, i через UUID(). Невалидные → 400 invalid_request, не попадают в SQL. Тест test_invalid_cursor — оба случая → 400.
4. C1 filename — исправлено
_validate_filename использует unicodedata.category(ch) == "Cc" — все control-символы (C0, DEL, C1). filename=c1%C2%85.png (U+0085) → 400. Тест test_filename_c1.
5. Отказ S3 — исправлено
readiness проверяет S3 через head_bucket (boto3 с connect_timeout=1, read_timeout=2, retries=1). S3 down → readiness 503 за ~3 сек. upload ловит S3-ошибки → 503 unavailable (JSON от API). HAProxy проверяет /health/live (не /health/ready) — S3 down не убирает реплики из ротации. Тест test_s3_unavailable.
Что не исправлено и почему
Пункт 2 (полный streaming в S3) — требует async-to-sync моста (отдельный поток, очередь, backpressure). Это архитектура lab5+ (worker, брокер). Для lab4 честно описано как ограничение.
Все тесты после исправлений: make test, make test-persistence, make test-failover, test_attachments_negative.py (8/8 PASS), test_concurrent_uploads.py (10/10 → 201, delta 121.2 MiB — честно).
### 1. Лимит пикселей после распаковки — исправлено
`img.size` проверяется **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` установлен глобально — Pillow бросает `DecompressionBombError` **до** декодирования. PNG 8200×5000 (131 KB) → `413` за **0.01 сек**, RAM не растёт до 251 MiB. Тест `test_decompression_bomb`.
### 2. Накопление тела — исправлено частично, честно описано
Тело читается чанками с лимитом, но накапливается в `bytearray` для `put_object`. **Это не streaming в S3**, дельта RAM не доказывает streaming. Для 10 MiB приемлемо. Для production — `upload_fileobj` + async-to-sync мост (lab5+). В `REPORT.md` утверждение исправлено: «потоковая обработка не позволяет **одной** загрузке занять неограниченную RAM» — верно; для многих — нужен rate limiting.
### 3. Некорректный cursor → 500 — исправлено
`_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`, не попадают в SQL. Тест `test_invalid_cursor` — оба случая → `400`.
### 4. C1 filename — исправлено
`_validate_filename` использует `unicodedata.category(ch) == "Cc"` — все control-символы (C0, DEL, C1). `filename=c1%C2%85.png` (U+0085) → `400`. Тест `test_filename_c1`.
### 5. Отказ S3 — исправлено
`readiness` проверяет S3 через `head_bucket` (boto3 с `connect_timeout=1`, `read_timeout=2`, `retries=1`). S3 down → `readiness 503` за ~3 сек. `upload` ловит S3-ошибки → `503 unavailable` (JSON от API). HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down не убирает реплики из ротации. Тест `test_s3_unavailable`.
### Что не исправлено и почему
**Пункт 2** (полный streaming в S3) — требует async-to-sync моста (отдельный поток, очередь, backpressure). Это архитектура lab5+ (worker, брокер). Для lab4 честно описано как ограничение.
Все тесты после исправлений: `make test`, `make test-persistence`, `make test-failover`, `test_attachments_negative.py` (8/8 PASS), `test_concurrent_uploads.py` (10/10 → 201, delta 121.2 MiB — честно).
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Кропивка Виктория, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен
Что реализовано
Перенесён минимум lab3. Добавлено:
messenger-attachments, создаётсяs3-initидемпотентно. MinIO недоступен публично — используется S3-совместимый fork Silo.POST /chats/{id}/attachments(сырые PNG/JPEG),GET /attachments/{id},GET /attachments/{id}/content.attachment_idsвMessage/CreateMessage.messenger-api(Put/Get/Delete) для API,messenger-cleanup(ListBucket + Get/Delete) для cleanup. Root — только дляs3-init.Команды запуска
cp .env.example .env docker compose --env-file .env up -d --build make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080Результаты
make test→ PASSmake test-persistence→ PASSmake test-failover→ PASS (98 записей, recovery 2.7s, вложение скачалось через другую реплику)test_attachments_negative.py→ 5/5 PASSmc anonymous get→privateRAM: 10 × 10 MiB → delta 65.3 MiB
Полные доказательства — в
REPORT.md.Ограничения
Silo вместо MinIO — MinIO удалил публичные образы в сентябре 2026. Silo совместим с S3 API, boto3 работает.
Cleanup — только S3-сироты. Полный reconciler — трек 2 уровня «5».
Pillow декодирует целиком. Для 10 MiB — приемлемо.
Нет rate limiting. Много одновременных загрузок → RAM линейно. Для lab4 приемлемо.
Источники и ИИ
Документация FastAPI, boto3, Pillow, Silo, HAProxy, PostgreSQL. LLM-ассистент для черновиков; итоговый код проверен smoke, persistence, failover, негативными тестами.
Существенные проблемы:
1. Лимит пикселей после распаковки — исправлено
img.sizeпроверяется доimg.load().Image.MAX_IMAGE_PIXELSустановлен глобально — Pillow бросаетDecompressionBombErrorдо декодирования. PNG 8200×5000 (131 KB) →413за 0.01 сек, RAM не растёт до 251 MiB. Тестtest_decompression_bomb.2. Накопление тела — исправлено частично, честно описано
Тело читается чанками с лимитом, но накапливается в
bytearrayдляput_object. Это не streaming в S3, дельта RAM не доказывает streaming. Для 10 MiB приемлемо. Для production —upload_fileobj+ async-to-sync мост (lab5+). ВREPORT.mdутверждение исправлено: «потоковая обработка не позволяет одной загрузке занять неограниченную RAM» — верно; для многих — нужен rate limiting.3. Некорректный cursor → 500 — исправлено
_decode_cursorпроверяетtчерезdatetime.fromisoformat,iчерезUUID(). Невалидные →400 invalid_request, не попадают в SQL. Тестtest_invalid_cursor— оба случая →400.4. C1 filename — исправлено
_validate_filenameиспользуетunicodedata.category(ch) == "Cc"— все control-символы (C0, DEL, C1).filename=c1%C2%85.png(U+0085) →400. Тестtest_filename_c1.5. Отказ S3 — исправлено
readinessпроверяет S3 черезhead_bucket(boto3 сconnect_timeout=1,read_timeout=2,retries=1). S3 down →readiness 503за ~3 сек.uploadловит S3-ошибки →503 unavailable(JSON от API). HAProxy проверяет/health/live(не/health/ready) — S3 down не убирает реплики из ротации. Тестtest_s3_unavailable.Что не исправлено и почему
Пункт 2 (полный streaming в S3) — требует async-to-sync моста (отдельный поток, очередь, backpressure). Это архитектура lab5+ (worker, брокер). Для lab4 честно описано как ограничение.
Все тесты после исправлений:
make test,make test-persistence,make test-failover,test_attachments_negative.py(8/8 PASS),test_concurrent_uploads.py(10/10 → 201, delta 121.2 MiB — честно).Принято. Закрываю МР.
Pull request closed