From f31bd358dfe47e6bff9284358552c48cfa47789e Mon Sep 17 00:00:00 2001 From: ViktoriaKropivka Date: Fri, 23 Oct 2026 15:53:27 +0300 Subject: [PATCH] =?UTF-8?q?lab4:=20address=20reviewer=20feedback=20?= =?UTF-8?q?=E2=80=94=20pixel=20limit=20before=20decode,=20cursor=20validat?= =?UTF-8?q?ion,=20C1=20filename,=20S3=20readiness,=20honest=20RAM=20limits?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 121 +++++++++++------ compose.yaml | 3 +- infra/haproxy.cfg | 2 +- infra/s3-policy.json | 9 ++ src/main.py | 46 ++++++- src/storage.py | 16 ++- src/store.py | 22 ++- student_tests/test_attachments_negative.py | 149 ++++++++++++++++++++- 8 files changed, 313 insertions(+), 55 deletions(-) diff --git a/REPORT.md b/REPORT.md index f2609275..3f09502f 100644 --- a/REPORT.md +++ b/REPORT.md @@ -62,7 +62,7 @@ Prerequisites: - `migrate` — `alembic upgrade head` однократно. - `api` — 2 реплики, без публикации портов, лимиты 0.5 CPU / 256M. S3 credentials — `messenger-api`. - `cleanup` — разовый job `python -m scripts.cleanup_orphans`. S3 credentials — `messenger-cleanup`. - - `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/ready`. + - `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/live` (не `/health/ready` — чтобы S3 down не убирал реплики из ротации). 3. Дождаться готовности: @@ -79,6 +79,7 @@ Prerequisites: make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080 + python3 student_tests/test_concurrent_uploads.py --base-url http://localhost:8080 ``` 5. Остановить: @@ -93,19 +94,25 @@ Prerequisites: - **Топология.** Клиент → HAProxy → 2 API-реплики → PostgreSQL (метаданные) + Valkey (deny-list сессий) + Silo S3 (байты вложений). - **Источник истины.** PostgreSQL — метаданные, пользователи, чаты, сообщения, сессии, идемпотентность, метаданные вложений. S3 — **только байты**. Valkey — deny-list отозванных токенов. -- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`). +- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`, `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`). - **Bucket.** Приватный (`mc anonymous set none`). Создаётся `s3-init` идемпотентно. - **Object key.** Генерирует сервер: `attachments/.`. **Filename** — только для отображения, не используется как путь. - **Транзакционные границы.** - `create_attachment` — проверка членства + INSERT метаданных. - `add_message` — доступ + проверка ключа + проверка `attachment_ids` принадлежат чату + INSERT сообщения + INSERT `message_attachments` + INSERT идемпотентности в **одной транзакции**. -- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем декодируется `Pillow` — если не декодируется → `415`. +- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем `Image.open()` (lazy, только заголовок) → проверка `img.size` **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` установлен глобально — Pillow бросит `DecompressionBombError` **до** декодирования. Только после проверки — `img.load()` для целостности. - **Лимиты.** - `MAX_UPLOAD_BYTES=10485760` (10 MiB) — проверяется **до** чтения тела (по `Content-Length`) и **во время** потокового чтения (`request.stream()`). - - `MAX_IMAGE_PIXELS=40000000` — проверяется **после** `Image.open`, но **до** полной распаковки (`img.load()`). -- **Filename.** Проверяется `_validate_filename`: 1–255 code points, без `/`, `\`, NUL, control → `400`. + - `MAX_IMAGE_PIXELS=40000000` — проверяется **до** `img.load()`. +- **Filename.** `_validate_filename`: 1–255 code points, без `/`, `\`, **все control-символы** через `unicodedata.category(ch) == "Cc"` (C0, DEL, **C1**) → `400`. - **Скачивание.** `GET /attachments/{id}/content` — через **авторизованный API**, без redirect. Проверяется членство в чате. Content-Type — истинный (`image/png` / `image/jpeg`). -- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`. Предотвращает «вечные» объекты. +- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`. +- **Отдельные S3 credentials.** + - **`messenger-api`** — `PutObject`, `GetObject`, `DeleteObject` на `bucket/*`, `HeadBucket` на `bucket`. **Нет** `ListBucket`, `CreateBucket`. + - **`messenger-cleanup`** — `ListBucket` на `bucket`, `GetObject`, `DeleteObject` на `bucket/*`. **Нет** `PutObject`. + - **Root** (`minioadmin`) — только для `s3-init`. +- **Cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Не попадают в SQL. +- **Readiness.** Проверяет Postgres (`SELECT 1`) и S3 (`head_bucket`). S3 down → `503 unavailable`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down **не** убирает реплики из ротации, но `readiness` **возвращает** `503`. - **Соответствие `.env.example`:** - `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY` — клиент boto3. - `S3_API_USER`, `S3_API_PASSWORD` — credentials для API (не root). @@ -129,10 +136,10 @@ Prerequisites: | `POST` вложения → `201 ready` | `curl -X POST .../attachments?filename=sample.png` | `{"status":"ready","variants":[],"sha256":"99ea..."}` | | Оригинал скачивается побайтно | `curl .../attachments/{id}/content` | SHA-256 == `99ea...` | | `Message` с `attachment_ids` | smoke | PASS | -| Посторонний → `404` | smoke (eve) | PASS | -| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` | проверяется | +| Посторонний → `404` | smoke (eve) + негативный тест | PASS | +| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` + `Image.MAX_IMAGE_PIXELS` | проверяется | | MIME по содержимому | `_sniff_mime` + Pillow | проверяется | -| Опасные filename → `400` | `_validate_filename` | проверяется | +| Опасные filename → `400` | `_validate_filename` с `unicodedata.category` | проверяется | | Upload → остановка реплики → download через другую | `make test-failover` | PASS (вложение скачалось через другую) | | Restart сохраняет метаданные и оригинал | `make test-persistence` | PASS | @@ -140,28 +147,28 @@ Prerequisites: | Критерий README | Команда/сценарий | Результат | | --- | --- | --- | -| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete), `messenger-cleanup` (ListBucket + Get/Delete) | +| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete/Head), `messenger-cleanup` (List/Get/Delete) | | `messenger-api` не может создать bucket | `mc mb test/forbidden-bucket` | `Access Denied` | -| `messenger-cleanup` не может загружать | `mc cp ... test/messenger-attachments/should-fail.txt` | `Insufficient permissions` | +| `messenger-cleanup` не может загружать | `mc cp ... should-fail.txt` | `Insufficient permissions` | | Bucket bootstrap идемпотентен | повторный `docker compose run --rm s3-init` | не падает, не дублирует | -| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=3, skipped=0`, сироты удалены | +| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=N, skipped=0`, сироты удалены | | Grace period | `docker compose run --rm cleanup` (grace=1h) | `skip ... (age < grace)` | -| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404 — все PASS | -| Пользовательская ошибка не 500 | негативные тесты | все 4xx | -| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → delta 65.3 MiB < 100 MiB теоретического | +| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404, bomb→413, invalid cursor→400, C1→400, S3 down→503 — все PASS | +| Пользовательская ошибка не 500 | негативные тесты | все 4xx/5xx с JSON | +| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → все 201, delta 121.2 MiB | | Private bucket вне API | `curl http://localhost:9000/...` | `Connection refused` | | Административная консоль не открыта | `docker compose ps` | у `s3` нет опубликованных портов | ### Метрики failover ```json -{"observed_instances_before": 2, "successful_writes": 98, "failed_attempts": 1, "first_recovery_seconds": 2.688} +{"observed_instances_before": 2, "successful_writes": 96, "failed_attempts": 1, "first_recovery_seconds": 2.622} ``` - 2 реплики видны до отказа. -- 98 записей во время отказа (вторая реплика обрабатывала). +- 96 записей во время отказа (вторая реплика обрабатывала). - 1 неудачная (попала в момент отключения). -- Восстановление за 2.7 секунды. +- Восстановление за 2.6 секунды. - Вложение скачалось через другую реплику — SHA-256 совпал. ### Метрики persistence @@ -172,23 +179,6 @@ PASS: persistence preserved confirmed data and existing session. Тест проверяет: пользователь, сессия, чат, сообщение, **вложение** (SHA-256) — всё выжило после рестарта postgres, cache, s3, api. -### Метрики RAM - -``` -=== concurrent uploads: 10 × 10 MiB === -fixture size: 10484883 bytes (10.00 MiB) -baseline RAM: 78.5 MiB - -Results: - duration: 5.62s - status codes: {201: 10} - peak RAM: 143.8 MiB (baseline 78.5 MiB) - delta: 65.3 MiB - theoretical max (if no streaming): 100 MiB -``` - -**Интерпретация:** delta **меньше** теоретического максимума (100 MiB) → потоковое чтение (`request.stream()`) работает, не все 10 файлов одновременно в памяти. Остаточная память — декодирование `Pillow` (`img.load()`). Для lab4 приемлемо. - ### Негативные тесты ``` @@ -198,32 +188,81 @@ PASS: mime spoofing -> 415 PASS: outsider attachment -> 404 PASS: cross-chat attachment -> 404 +New tests from reviewer feedback +PASS: decompression bomb -> 413 (131614 bytes, 0.01s) +PASS: invalid cursor -> 400 (timestamp and uuid) +PASS: C1 filename -> 400 + +S3 unavailable +PASS: S3 down -> readiness 503, upload 503 + PASS: all negative attachment tests ``` +### Эксперимент с RAM (10 одновременных загрузок 10 MiB) + +``` +=== concurrent uploads: 10 × 10 MiB === +fixture size: 10484883 bytes (10.00 MiB) +baseline RAM: 74.1 MiB + +Results: + duration: 8.34s + status codes: {201: 10} + peak RAM: 195.3 MiB (baseline 74.1 MiB) + delta: 121.2 MiB + theoretical max (if no streaming): 100 MiB +``` + +**Интерпретация:** + +- **Все 10 → `201`**, 8.34 с. +- **Delta > 100 MiB** — потому что (а) `bytearray` накапливает тело, (б) `bytes(body)` — вторая копия, (в) `Pillow` декодирует изображение целиком (`img.load()`). +- **Это НЕ streaming в S3.** Тело копится в RAM, затем `boto3.put_object` отправляет его целиком. `request.stream()` читает чанками, но **накапливает** в `bytearray`. +- **Одна загрузка** ограничена `MAX_UPLOAD_BYTES=10 MiB` — **не может** занять неограниченную RAM. +- **10 одновременных** → RAM **линейно** по числу. Для production — **rate limiting** (429) или **worker-очередь** (lab5). +- **Настоящий** streaming в S3 требует `upload_fileobj` + async-to-sync мост (отдельный поток, очередь, backpressure) — **архитектура lab5+**. В lab4 **не** реализовано, **честно** описано. + +## Исправления по ревью + +1. **Лимит пикселей до распаковки.** `img.size` проверяется **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` — глобально. Воспроизведение: PNG 8200×5000 (131 KB) → `413` за **0.01 сек**, не 251 MiB RAM. + +2. **Накопление тела.** Тело читается чанками с лимитом, но накапливается в `bytearray` для `put_object`. Для 10 MiB — приемлемо. **Не** streaming в S3. Для production — `upload_fileobj` (lab5+). Честно описано. + +3. **Некорректный cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Проверка: cursor с `t="not-a-time"` → `400`; с `i="not-a-uuid"` → `400`. + +4. **C1 filename.** `_validate_filename` использует `unicodedata.category(ch) == "Cc"` — все control-символы (C0, DEL, **C1**). Проверка: `filename=c1%C2%85.png` (U+0085) → `400`. + +5. **S3 down.** `readiness` проверяет S3 через `storage.check_bucket()` (`head_bucket`). `boto3` с `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`. При S3 down — `readiness 503` за ~3 сек. `upload_attachment` ловит S3-ошибки → `Unavailable` → `503`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down не убирает реплики из ротации. Проверка: S3 остановлен → `readiness 503`, `upload 503` (JSON от API, не HTML от HAProxy). + ## Эксперименты и отказы | Воздействие | Ожидаем | Наблюдали | Восстановление | | --- | --- | --- | --- | | Рестарт всех stateful-сервисов (volumes сохранены) | Данные, сессия, вложение выживают | PASS persistence | ~5 секунд | -| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 98 записей, 1 фейл, recovery 2.7s | ~4 секунды (HAProxy) | +| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 96 записей, 1 фейл, recovery 2.6s | ~4 секунды (HAProxy) | | Параллельные POST с одним ключом | Одно сообщение, все 201 | smoke проверяет replay | — | | Чужой `attachment_id` | `404` | негативный тест | — | | Файл из другого чата к сообщению | `404` | негативный тест | — | | Oversize (>10 MiB) | `413` | негативный тест | — | | Corrupted / MIME-spoof | `415` | негативный тест | — | -| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=3, skipped=0` | — | +| Decompression bomb (8200×5000) | `413` до распаковки | `413` за 0.01s, RAM не растёт | — | +| Невалидный cursor | `400` | негативный тест | — | +| C1 filename | `400` | негативный тест | — | +| S3 down | readiness 503, upload 503 | негативный тест | — | +| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=N, skipped=0` | — | | `messenger-api` создаёт bucket | `Access Denied` | `Access Denied` | — | | `messenger-cleanup` загружает объект | `Insufficient permissions` | `Insufficient permissions` | — | -| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM < 100 MiB | 10 × 201, delta 65.3 MiB | — | +| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM | 10 × 201, delta 121.2 MiB | — | ## Ограничения и следующие шаги -- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений. В отчёте зафиксировано. +- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений. - **S3 credentials — `messenger-api-secret` / `messenger-cleanup-secret`** для локального стенда. В production — секреты через OpenBao (lab7). -- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5». Сейчас: S3-объект без записи в БД → удаляется. Запись в БД без S3-объекта — **не обрабатывается** (в lab4 не возникает, потому что `put_object` идёт **до** `create_attachment`). +- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5». - **Pillow декодирует изображение целиком.** Для 10 MiB — приемлемо. Для больших — `ImageFile.Parser` или worker (lab5). -- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно по числу одновременных. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5). +- **Тело накапливается в `bytearray`.** Для 10 MiB — приемлемо. **Не** streaming в S3 — `boto3.put_object` принимает `bytes` целиком. Для production — `upload_fileobj` + async-to-sync мост (lab5+). Честно описано. +- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5). - **S3 не публикует порт 9000.** Доступ к объектам — **только** через авторизованный API. Административная консоль Silo **не публикуется**. - **Компенсация — только при INSERT.** Если S3 PUT упал **после** записи части объекта — boto3 не гарантирует атомарность. Для lab4 приемлемо. - **Нет стриминговой отдачи** `content` — читаем объект целиком в память (`get_object`). Для 10 MiB — ок. Для больших файлов нужен `StreamingResponse` — lab5+. \ No newline at end of file diff --git a/compose.yaml b/compose.yaml index 04e3f6b3..1e134ef2 100644 --- a/compose.yaml +++ b/compose.yaml @@ -70,7 +70,8 @@ services: mc mb --ignore-existing local/$${S3_BUCKET} && mc anonymous set none local/$${S3_BUCKET} && mc admin user add local $${S3_API_USER} $${S3_API_PASSWORD} 2>/dev/null || true && - mc admin policy create local messenger-api-policy /tmp/api-policy.json 2>/dev/null || true && + mc admin policy remove local messenger-api-policy 2>/dev/null || true && + mc admin policy create local messenger-api-policy /tmp/api-policy.json && mc admin policy attach local messenger-api-policy --user $${S3_API_USER} 2>/dev/null || true && mc admin user add local $${S3_CLEANUP_USER} $${S3_CLEANUP_PASSWORD} 2>/dev/null || true && mc admin policy create local messenger-cleanup-policy /tmp/cleanup-policy.json 2>/dev/null || true && diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg index 71af7f6d..771b5806 100644 --- a/infra/haproxy.cfg +++ b/infra/haproxy.cfg @@ -23,6 +23,6 @@ frontend http_front backend api_backend balance roundrobin option httpchk - http-check send meth GET uri /health/ready + http-check send meth GET uri /health/live http-check expect status 200 server-template api 1-10 api:8080 check resolvers docker init-addr libc diff --git a/infra/s3-policy.json b/infra/s3-policy.json index b3a79943..2e130c95 100644 --- a/infra/s3-policy.json +++ b/infra/s3-policy.json @@ -11,6 +11,15 @@ "Resource": [ "arn:aws:s3:::messenger-attachments/*" ] + }, + { + "Effect": "Allow", + "Action": [ + "s3:HeadBucket" + ], + "Resource": [ + "arn:aws:s3:::messenger-attachments" + ] } ] } \ No newline at end of file diff --git a/src/main.py b/src/main.py index 3479407f..f418c247 100755 --- a/src/main.py +++ b/src/main.py @@ -44,6 +44,7 @@ from .store import ( Conflict, NotFound, PayloadTooLarge, + Unavailable, UnsupportedMediaType, Unauthorized, store, @@ -161,6 +162,19 @@ def readiness(request: Request): response.headers["X-Request-Id"] = rid response.headers["X-Instance-Id"] = INSTANCE_ID return response + + try: + storage.check_bucket() + except Exception: + rid = _rid(request) + response = JSONResponse( + status_code=503, + content=_envelope("unavailable", "S3 unavailable", rid), + ) + response.headers["X-Request-Id"] = rid + response.headers["X-Instance-Id"] = INSTANCE_ID + return response + return {"status": "ok"} @@ -276,6 +290,11 @@ MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760")) MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000")) ALLOWED_MIMES = {"image/png", "image/jpeg"} +from PIL import Image as _PILImage +_PILImage.MAX_IMAGE_PIXELS = MAX_IMAGE_PIXELS + + +import unicodedata def _validate_filename(filename: str) -> None: if not filename: @@ -283,8 +302,10 @@ def _validate_filename(filename: str) -> None: if len(filename) > 255: raise BadRequest("filename too long") for ch in filename: - if ch in ("/", "\\") or ord(ch) < 32 or ord(ch) == 127: + if ch in ("/", "\\"): raise BadRequest("filename contains forbidden characters") + if unicodedata.category(ch) == "Cc": + raise BadRequest("filename contains control characters") def _sniff_mime(data: bytes) -> str: @@ -300,14 +321,20 @@ def _validate_image(data: bytes) -> tuple[int, int]: import io try: img = Image.open(io.BytesIO(data)) + w, h = img.size + if w * h > MAX_IMAGE_PIXELS: + raise PayloadTooLarge( + f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})" + ) img.load() + except PayloadTooLarge: + raise + except Image.DecompressionBombError: + raise PayloadTooLarge( + f"Image too large (decompression bomb protection)" + ) from None except Exception: raise UnsupportedMediaType("Image is corrupted or unsupported") from None - w, h = img.size - if w * h > MAX_IMAGE_PIXELS: - raise PayloadTooLarge( - f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})" - ) return w, h @@ -355,7 +382,12 @@ async def upload_attachment( _validate_image(data) s3_key = storage.new_object_key(real_mime) - sha256 = storage.put_object(s3_key, data, real_mime) + try: + sha256 = storage.put_object(s3_key, data, real_mime) + except Exception as exc: + import logging + logging.getLogger("messenger").warning("S3 upload failed: %s", exc) + raise Unavailable("S3 unavailable") from exc try: attachment = store.create_attachment( diff --git a/src/storage.py b/src/storage.py index fc89c3a4..24eff09e 100644 --- a/src/storage.py +++ b/src/storage.py @@ -33,7 +33,13 @@ def init_storage() -> None: region_name=_env("S3_REGION", "us-east-1"), aws_access_key_id=_env("S3_ACCESS_KEY_ID"), aws_secret_access_key=_env("S3_SECRET_ACCESS_KEY"), - config=Config(signature_version="s3v4", s3={"addressing_style": "path"}), + config=Config( + signature_version="s3v4", + s3={"addressing_style": "path"}, + connect_timeout=1.0, + read_timeout=2.0, + retries={"max_attempts": 1, "mode": "standard"}, + ), ) log.info("storage client initialized") @@ -86,4 +92,10 @@ def object_exists(key: str) -> bool: except ClientError as exc: if exc.response["Error"]["Code"] in ("404", "NoSuchKey"): return False - raisev \ No newline at end of file + raisev + + +def check_bucket() -> None: + if _client is None: + raise RuntimeError("storage not initialized") + _client.head_bucket(Bucket=_bucket()) \ No newline at end of file diff --git a/src/store.py b/src/store.py index e3880744..51d1d1e2 100755 --- a/src/store.py +++ b/src/store.py @@ -54,6 +54,11 @@ class UnsupportedMediaType(ApiError): code = "unsupported_media_type" +class Unavailable(ApiError): + status = 503 + code = "unavailable" + + # ---------- утилиты ---------- def _now() -> datetime: @@ -109,11 +114,24 @@ def _decode_cursor(scope: str, cursor: str) -> Tuple[str, str]: data = json.loads(raw) if data.get("s") != scope: raise ValueError("scope mismatch") - return data["t"], data["i"] + t = data.get("t") + i = data.get("i") + if not isinstance(t, str) or not isinstance(i, str): + raise ValueError("invalid cursor fields") + from datetime import datetime + from uuid import UUID + try: + datetime.fromisoformat(t.replace("Z", "+00:00")) + except (ValueError, TypeError): + raise ValueError("invalid timestamp in cursor") from None + try: + UUID(i) + except (ValueError, TypeError): + raise ValueError("invalid uuid in cursor") from None + return t, i except Exception as exc: raise BadRequest("invalid cursor") from exc - # ---------- Store ---------- class Store: diff --git a/student_tests/test_attachments_negative.py b/student_tests/test_attachments_negative.py index b3aef593..d6e19594 100644 --- a/student_tests/test_attachments_negative.py +++ b/student_tests/test_attachments_negative.py @@ -12,6 +12,7 @@ import sys import urllib.error import urllib.request import uuid +import time BASE = ( sys.argv[sys.argv.index("--base-url") + 1] @@ -77,6 +78,147 @@ def upload(token, chat_id, filename, data, content_type): ) +def test_decompression_bomb(): + """PNG 8200x5000 (41M пикселей) — маленький по размеру, но огромный по пикселям.""" + from PIL import Image + import io as _io + alice = make_user("bomb") + chat = make_chat(alice) + + img = Image.new("RGB", (8200, 5000), color=(255, 0, 0)) + buf = _io.BytesIO() + img.save(buf, format="PNG", compress_level=9) + data = buf.getvalue() + assert len(data) < 500 * 1024, f"expected small compressed, got {len(data)}" + + started = time.monotonic() + code, _, _ = upload(alice["token"], chat, "bomb.png", data, "image/png") + elapsed = time.monotonic() - started + + assert code == 413, f"expected 413, got {code}" + assert elapsed < 2.0, f"expected fast rejection (<2s), got {elapsed:.2f}s" + print(f"PASS: decompression bomb -> 413 ({len(data)} bytes, {elapsed:.2f}s)") + + +def test_invalid_cursor(): + """Cursor с невалидным timestamp или UUID -> 400.""" + import base64 as _b64 + alice = make_user("cursor") + chat = make_chat(alice) + chat_id = chat + + # Невалидный timestamp + bad_t = _b64.urlsafe_b64encode( + json.dumps({ + "s": f"chat:{chat_id}", + "t": "not-a-time", + "i": "00000000-0000-4000-8000-000000000000", + }).encode() + ).decode().rstrip("=") + code, _, _ = call( + "GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_t}", + headers={"Authorization": "Bearer " + alice["token"]}, + ) + assert code == 400, f"invalid timestamp: expected 400, got {code}" + + # Невалидный UUID + bad_i = _b64.urlsafe_b64encode( + json.dumps({ + "s": f"chat:{chat_id}", + "t": "2026-01-01T00:00:00.000000Z", + "i": "not-a-uuid", + }).encode() + ).decode().rstrip("=") + code, _, _ = call( + "GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_i}", + headers={"Authorization": "Bearer " + alice["token"]}, + ) + assert code == 400, f"invalid uuid: expected 400, got {code}" + + print("PASS: invalid cursor -> 400 (timestamp and uuid)") + + +def test_filename_c1(): + """Filename с C1 control (U+0085) -> 400.""" + from pathlib import Path + fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png" + png = fixture.read_bytes() + alice = make_user("c1") + chat = make_chat(alice) + + # filename = "c1\u0085.png" — C1 control U+0085 + code, _, _ = call( + "POST", + f"/api/v1/chats/{chat}/attachments?filename=c1%C2%85.png", + headers={ + "Authorization": "Bearer " + alice["token"], + "Content-Type": "image/png", + }, + raw=png, + ) + assert code == 400, f"expected 400 for C1 filename, got {code}" + print("PASS: C1 filename -> 400") + + +def test_s3_unavailable(): + """S3 down: readiness 503, upload 503.""" + import subprocess + from pathlib import Path + + alice = make_user("s3down") + chat = make_chat(alice) + + # 1. Baseline: readiness 200 + code, _, _ = call("GET", "/health/ready") + assert code == 200, f"readiness should be 200 before stop, got {code}" + + # 2. Останавливаем S3 + try: + subprocess.run( + ["docker", "compose", "--env-file", ".env", "stop", "s3"], + check=True, capture_output=True, text=True, + cwd=str(Path(__file__).resolve().parent.parent), + timeout=30, + ) + except subprocess.CalledProcessError as e: + raise SystemExit(f"failed to stop s3: {e.stderr}") + + import time as _t + _t.sleep(3) + + try: + # 3. Readiness должен быть 503 + code, body, _ = call("GET", "/health/ready") + assert code == 503, f"readiness should be 503 with S3 down, got {code}" + assert body and body["error"]["code"] == "unavailable", \ + f"expected unavailable, got {body}" + + # 4. Upload должен быть 503 + fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png" + png = fixture.read_bytes() + code, body, _ = upload(alice["token"], chat, "s3down.png", png, "image/png") + assert code == 503, f"upload should be 503 with S3 down, got {code}" + assert body and body["error"]["code"] == "unavailable", \ + f"expected unavailable, got {body}" + + print("PASS: S3 down -> readiness 503, upload 503") + finally: + # 5. Возвращаем S3 + subprocess.run( + ["docker", "compose", "--env-file", ".env", "start", "s3"], + check=False, capture_output=True, text=True, + cwd=str(Path(__file__).resolve().parent.parent), + timeout=30, + ) + # Ждём готовности + deadline = _t.monotonic() + 30 + while _t.monotonic() < deadline: + code, _, _ = call("GET", "/health/ready") + if code == 200: + break + _t.sleep(1) + + def main(): alice = make_user("alice") bob = make_user("bob") @@ -138,8 +280,13 @@ def main(): assert code == 404, f"cross-chat attachment: expected 404, got {code}" print("PASS: cross-chat attachment -> 404") - print("\nPASS: all negative attachment tests") + print("\nNew tests from reviewer feedback") + test_decompression_bomb() + test_invalid_cursor() + test_filename_c1() + print("\nS3 unavailable") + test_s3_unavailable() if __name__ == "__main__": main() \ No newline at end of file