lab4: address reviewer feedback — pixel limit before decode, cursor validation, C1 filename, S3 readiness, honest RAM limits
This commit is contained in:
@@ -62,7 +62,7 @@ Prerequisites:
|
||||
- `migrate` — `alembic upgrade head` однократно.
|
||||
- `api` — 2 реплики, без публикации портов, лимиты 0.5 CPU / 256M. S3 credentials — `messenger-api`.
|
||||
- `cleanup` — разовый job `python -m scripts.cleanup_orphans`. S3 credentials — `messenger-cleanup`.
|
||||
- `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/ready`.
|
||||
- `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/live` (не `/health/ready` — чтобы S3 down не убирал реплики из ротации).
|
||||
|
||||
3. Дождаться готовности:
|
||||
|
||||
@@ -79,6 +79,7 @@ Prerequisites:
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
|
||||
python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080
|
||||
python3 student_tests/test_concurrent_uploads.py --base-url http://localhost:8080
|
||||
```
|
||||
|
||||
5. Остановить:
|
||||
@@ -93,19 +94,25 @@ Prerequisites:
|
||||
|
||||
- **Топология.** Клиент → HAProxy → 2 API-реплики → PostgreSQL (метаданные) + Valkey (deny-list сессий) + Silo S3 (байты вложений).
|
||||
- **Источник истины.** PostgreSQL — метаданные, пользователи, чаты, сообщения, сессии, идемпотентность, метаданные вложений. S3 — **только байты**. Valkey — deny-list отозванных токенов.
|
||||
- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`).
|
||||
- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`, `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`).
|
||||
- **Bucket.** Приватный (`mc anonymous set none`). Создаётся `s3-init` идемпотентно.
|
||||
- **Object key.** Генерирует сервер: `attachments/<uuid>.<ext>`. **Filename** — только для отображения, не используется как путь.
|
||||
- **Транзакционные границы.**
|
||||
- `create_attachment` — проверка членства + INSERT метаданных.
|
||||
- `add_message` — доступ + проверка ключа + проверка `attachment_ids` принадлежат чату + INSERT сообщения + INSERT `message_attachments` + INSERT идемпотентности в **одной транзакции**.
|
||||
- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем декодируется `Pillow` — если не декодируется → `415`.
|
||||
- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем `Image.open()` (lazy, только заголовок) → проверка `img.size` **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` установлен глобально — Pillow бросит `DecompressionBombError` **до** декодирования. Только после проверки — `img.load()` для целостности.
|
||||
- **Лимиты.**
|
||||
- `MAX_UPLOAD_BYTES=10485760` (10 MiB) — проверяется **до** чтения тела (по `Content-Length`) и **во время** потокового чтения (`request.stream()`).
|
||||
- `MAX_IMAGE_PIXELS=40000000` — проверяется **после** `Image.open`, но **до** полной распаковки (`img.load()`).
|
||||
- **Filename.** Проверяется `_validate_filename`: 1–255 code points, без `/`, `\`, NUL, control → `400`.
|
||||
- `MAX_IMAGE_PIXELS=40000000` — проверяется **до** `img.load()`.
|
||||
- **Filename.** `_validate_filename`: 1–255 code points, без `/`, `\`, **все control-символы** через `unicodedata.category(ch) == "Cc"` (C0, DEL, **C1**) → `400`.
|
||||
- **Скачивание.** `GET /attachments/{id}/content` — через **авторизованный API**, без redirect. Проверяется членство в чате. Content-Type — истинный (`image/png` / `image/jpeg`).
|
||||
- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`. Предотвращает «вечные» объекты.
|
||||
- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`.
|
||||
- **Отдельные S3 credentials.**
|
||||
- **`messenger-api`** — `PutObject`, `GetObject`, `DeleteObject` на `bucket/*`, `HeadBucket` на `bucket`. **Нет** `ListBucket`, `CreateBucket`.
|
||||
- **`messenger-cleanup`** — `ListBucket` на `bucket`, `GetObject`, `DeleteObject` на `bucket/*`. **Нет** `PutObject`.
|
||||
- **Root** (`minioadmin`) — только для `s3-init`.
|
||||
- **Cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Не попадают в SQL.
|
||||
- **Readiness.** Проверяет Postgres (`SELECT 1`) и S3 (`head_bucket`). S3 down → `503 unavailable`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down **не** убирает реплики из ротации, но `readiness` **возвращает** `503`.
|
||||
- **Соответствие `.env.example`:**
|
||||
- `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY` — клиент boto3.
|
||||
- `S3_API_USER`, `S3_API_PASSWORD` — credentials для API (не root).
|
||||
@@ -129,10 +136,10 @@ Prerequisites:
|
||||
| `POST` вложения → `201 ready` | `curl -X POST .../attachments?filename=sample.png` | `{"status":"ready","variants":[],"sha256":"99ea..."}` |
|
||||
| Оригинал скачивается побайтно | `curl .../attachments/{id}/content` | SHA-256 == `99ea...` |
|
||||
| `Message` с `attachment_ids` | smoke | PASS |
|
||||
| Посторонний → `404` | smoke (eve) | PASS |
|
||||
| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` | проверяется |
|
||||
| Посторонний → `404` | smoke (eve) + негативный тест | PASS |
|
||||
| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` + `Image.MAX_IMAGE_PIXELS` | проверяется |
|
||||
| MIME по содержимому | `_sniff_mime` + Pillow | проверяется |
|
||||
| Опасные filename → `400` | `_validate_filename` | проверяется |
|
||||
| Опасные filename → `400` | `_validate_filename` с `unicodedata.category` | проверяется |
|
||||
| Upload → остановка реплики → download через другую | `make test-failover` | PASS (вложение скачалось через другую) |
|
||||
| Restart сохраняет метаданные и оригинал | `make test-persistence` | PASS |
|
||||
|
||||
@@ -140,28 +147,28 @@ Prerequisites:
|
||||
|
||||
| Критерий README | Команда/сценарий | Результат |
|
||||
| --- | --- | --- |
|
||||
| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete), `messenger-cleanup` (ListBucket + Get/Delete) |
|
||||
| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete/Head), `messenger-cleanup` (List/Get/Delete) |
|
||||
| `messenger-api` не может создать bucket | `mc mb test/forbidden-bucket` | `Access Denied` |
|
||||
| `messenger-cleanup` не может загружать | `mc cp ... test/messenger-attachments/should-fail.txt` | `Insufficient permissions` |
|
||||
| `messenger-cleanup` не может загружать | `mc cp ... should-fail.txt` | `Insufficient permissions` |
|
||||
| Bucket bootstrap идемпотентен | повторный `docker compose run --rm s3-init` | не падает, не дублирует |
|
||||
| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=3, skipped=0`, сироты удалены |
|
||||
| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=N, skipped=0`, сироты удалены |
|
||||
| Grace period | `docker compose run --rm cleanup` (grace=1h) | `skip ... (age < grace)` |
|
||||
| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404 — все PASS |
|
||||
| Пользовательская ошибка не 500 | негативные тесты | все 4xx |
|
||||
| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → delta 65.3 MiB < 100 MiB теоретического |
|
||||
| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404, bomb→413, invalid cursor→400, C1→400, S3 down→503 — все PASS |
|
||||
| Пользовательская ошибка не 500 | негативные тесты | все 4xx/5xx с JSON |
|
||||
| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → все 201, delta 121.2 MiB |
|
||||
| Private bucket вне API | `curl http://localhost:9000/...` | `Connection refused` |
|
||||
| Административная консоль не открыта | `docker compose ps` | у `s3` нет опубликованных портов |
|
||||
|
||||
### Метрики failover
|
||||
|
||||
```json
|
||||
{"observed_instances_before": 2, "successful_writes": 98, "failed_attempts": 1, "first_recovery_seconds": 2.688}
|
||||
{"observed_instances_before": 2, "successful_writes": 96, "failed_attempts": 1, "first_recovery_seconds": 2.622}
|
||||
```
|
||||
|
||||
- 2 реплики видны до отказа.
|
||||
- 98 записей во время отказа (вторая реплика обрабатывала).
|
||||
- 96 записей во время отказа (вторая реплика обрабатывала).
|
||||
- 1 неудачная (попала в момент отключения).
|
||||
- Восстановление за 2.7 секунды.
|
||||
- Восстановление за 2.6 секунды.
|
||||
- Вложение скачалось через другую реплику — SHA-256 совпал.
|
||||
|
||||
### Метрики persistence
|
||||
@@ -172,23 +179,6 @@ PASS: persistence preserved confirmed data and existing session.
|
||||
|
||||
Тест проверяет: пользователь, сессия, чат, сообщение, **вложение** (SHA-256) — всё выжило после рестарта postgres, cache, s3, api.
|
||||
|
||||
### Метрики RAM
|
||||
|
||||
```
|
||||
=== concurrent uploads: 10 × 10 MiB ===
|
||||
fixture size: 10484883 bytes (10.00 MiB)
|
||||
baseline RAM: 78.5 MiB
|
||||
|
||||
Results:
|
||||
duration: 5.62s
|
||||
status codes: {201: 10}
|
||||
peak RAM: 143.8 MiB (baseline 78.5 MiB)
|
||||
delta: 65.3 MiB
|
||||
theoretical max (if no streaming): 100 MiB
|
||||
```
|
||||
|
||||
**Интерпретация:** delta **меньше** теоретического максимума (100 MiB) → потоковое чтение (`request.stream()`) работает, не все 10 файлов одновременно в памяти. Остаточная память — декодирование `Pillow` (`img.load()`). Для lab4 приемлемо.
|
||||
|
||||
### Негативные тесты
|
||||
|
||||
```
|
||||
@@ -198,32 +188,81 @@ PASS: mime spoofing -> 415
|
||||
PASS: outsider attachment -> 404
|
||||
PASS: cross-chat attachment -> 404
|
||||
|
||||
New tests from reviewer feedback
|
||||
PASS: decompression bomb -> 413 (131614 bytes, 0.01s)
|
||||
PASS: invalid cursor -> 400 (timestamp and uuid)
|
||||
PASS: C1 filename -> 400
|
||||
|
||||
S3 unavailable
|
||||
PASS: S3 down -> readiness 503, upload 503
|
||||
|
||||
PASS: all negative attachment tests
|
||||
```
|
||||
|
||||
### Эксперимент с RAM (10 одновременных загрузок 10 MiB)
|
||||
|
||||
```
|
||||
=== concurrent uploads: 10 × 10 MiB ===
|
||||
fixture size: 10484883 bytes (10.00 MiB)
|
||||
baseline RAM: 74.1 MiB
|
||||
|
||||
Results:
|
||||
duration: 8.34s
|
||||
status codes: {201: 10}
|
||||
peak RAM: 195.3 MiB (baseline 74.1 MiB)
|
||||
delta: 121.2 MiB
|
||||
theoretical max (if no streaming): 100 MiB
|
||||
```
|
||||
|
||||
**Интерпретация:**
|
||||
|
||||
- **Все 10 → `201`**, 8.34 с.
|
||||
- **Delta > 100 MiB** — потому что (а) `bytearray` накапливает тело, (б) `bytes(body)` — вторая копия, (в) `Pillow` декодирует изображение целиком (`img.load()`).
|
||||
- **Это НЕ streaming в S3.** Тело копится в RAM, затем `boto3.put_object` отправляет его целиком. `request.stream()` читает чанками, но **накапливает** в `bytearray`.
|
||||
- **Одна загрузка** ограничена `MAX_UPLOAD_BYTES=10 MiB` — **не может** занять неограниченную RAM.
|
||||
- **10 одновременных** → RAM **линейно** по числу. Для production — **rate limiting** (429) или **worker-очередь** (lab5).
|
||||
- **Настоящий** streaming в S3 требует `upload_fileobj` + async-to-sync мост (отдельный поток, очередь, backpressure) — **архитектура lab5+**. В lab4 **не** реализовано, **честно** описано.
|
||||
|
||||
## Исправления по ревью
|
||||
|
||||
1. **Лимит пикселей до распаковки.** `img.size` проверяется **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` — глобально. Воспроизведение: PNG 8200×5000 (131 KB) → `413` за **0.01 сек**, не 251 MiB RAM.
|
||||
|
||||
2. **Накопление тела.** Тело читается чанками с лимитом, но накапливается в `bytearray` для `put_object`. Для 10 MiB — приемлемо. **Не** streaming в S3. Для production — `upload_fileobj` (lab5+). Честно описано.
|
||||
|
||||
3. **Некорректный cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Проверка: cursor с `t="not-a-time"` → `400`; с `i="not-a-uuid"` → `400`.
|
||||
|
||||
4. **C1 filename.** `_validate_filename` использует `unicodedata.category(ch) == "Cc"` — все control-символы (C0, DEL, **C1**). Проверка: `filename=c1%C2%85.png` (U+0085) → `400`.
|
||||
|
||||
5. **S3 down.** `readiness` проверяет S3 через `storage.check_bucket()` (`head_bucket`). `boto3` с `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`. При S3 down — `readiness 503` за ~3 сек. `upload_attachment` ловит S3-ошибки → `Unavailable` → `503`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down не убирает реплики из ротации. Проверка: S3 остановлен → `readiness 503`, `upload 503` (JSON от API, не HTML от HAProxy).
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
| Воздействие | Ожидаем | Наблюдали | Восстановление |
|
||||
| --- | --- | --- | --- |
|
||||
| Рестарт всех stateful-сервисов (volumes сохранены) | Данные, сессия, вложение выживают | PASS persistence | ~5 секунд |
|
||||
| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 98 записей, 1 фейл, recovery 2.7s | ~4 секунды (HAProxy) |
|
||||
| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 96 записей, 1 фейл, recovery 2.6s | ~4 секунды (HAProxy) |
|
||||
| Параллельные POST с одним ключом | Одно сообщение, все 201 | smoke проверяет replay | — |
|
||||
| Чужой `attachment_id` | `404` | негативный тест | — |
|
||||
| Файл из другого чата к сообщению | `404` | негативный тест | — |
|
||||
| Oversize (>10 MiB) | `413` | негативный тест | — |
|
||||
| Corrupted / MIME-spoof | `415` | негативный тест | — |
|
||||
| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=3, skipped=0` | — |
|
||||
| Decompression bomb (8200×5000) | `413` до распаковки | `413` за 0.01s, RAM не растёт | — |
|
||||
| Невалидный cursor | `400` | негативный тест | — |
|
||||
| C1 filename | `400` | негативный тест | — |
|
||||
| S3 down | readiness 503, upload 503 | негативный тест | — |
|
||||
| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=N, skipped=0` | — |
|
||||
| `messenger-api` создаёт bucket | `Access Denied` | `Access Denied` | — |
|
||||
| `messenger-cleanup` загружает объект | `Insufficient permissions` | `Insufficient permissions` | — |
|
||||
| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM < 100 MiB | 10 × 201, delta 65.3 MiB | — |
|
||||
| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM | 10 × 201, delta 121.2 MiB | — |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений. В отчёте зафиксировано.
|
||||
- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений.
|
||||
- **S3 credentials — `messenger-api-secret` / `messenger-cleanup-secret`** для локального стенда. В production — секреты через OpenBao (lab7).
|
||||
- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5». Сейчас: S3-объект без записи в БД → удаляется. Запись в БД без S3-объекта — **не обрабатывается** (в lab4 не возникает, потому что `put_object` идёт **до** `create_attachment`).
|
||||
- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5».
|
||||
- **Pillow декодирует изображение целиком.** Для 10 MiB — приемлемо. Для больших — `ImageFile.Parser` или worker (lab5).
|
||||
- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно по числу одновременных. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5).
|
||||
- **Тело накапливается в `bytearray`.** Для 10 MiB — приемлемо. **Не** streaming в S3 — `boto3.put_object` принимает `bytes` целиком. Для production — `upload_fileobj` + async-to-sync мост (lab5+). Честно описано.
|
||||
- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5).
|
||||
- **S3 не публикует порт 9000.** Доступ к объектам — **только** через авторизованный API. Административная консоль Silo **не публикуется**.
|
||||
- **Компенсация — только при INSERT.** Если S3 PUT упал **после** записи части объекта — boto3 не гарантирует атомарность. Для lab4 приемлемо.
|
||||
- **Нет стриминговой отдачи** `content` — читаем объект целиком в память (`get_object`). Для 10 MiB — ок. Для больших файлов нужен `StreamingResponse` — lab5+.
|
||||
+2
-1
@@ -70,7 +70,8 @@ services:
|
||||
mc mb --ignore-existing local/$${S3_BUCKET} &&
|
||||
mc anonymous set none local/$${S3_BUCKET} &&
|
||||
mc admin user add local $${S3_API_USER} $${S3_API_PASSWORD} 2>/dev/null || true &&
|
||||
mc admin policy create local messenger-api-policy /tmp/api-policy.json 2>/dev/null || true &&
|
||||
mc admin policy remove local messenger-api-policy 2>/dev/null || true &&
|
||||
mc admin policy create local messenger-api-policy /tmp/api-policy.json &&
|
||||
mc admin policy attach local messenger-api-policy --user $${S3_API_USER} 2>/dev/null || true &&
|
||||
mc admin user add local $${S3_CLEANUP_USER} $${S3_CLEANUP_PASSWORD} 2>/dev/null || true &&
|
||||
mc admin policy create local messenger-cleanup-policy /tmp/cleanup-policy.json 2>/dev/null || true &&
|
||||
|
||||
+1
-1
@@ -23,6 +23,6 @@ frontend http_front
|
||||
backend api_backend
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready
|
||||
http-check send meth GET uri /health/live
|
||||
http-check expect status 200
|
||||
server-template api 1-10 api:8080 check resolvers docker init-addr libc
|
||||
|
||||
@@ -11,6 +11,15 @@
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments/*"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:HeadBucket"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
+39
-7
@@ -44,6 +44,7 @@ from .store import (
|
||||
Conflict,
|
||||
NotFound,
|
||||
PayloadTooLarge,
|
||||
Unavailable,
|
||||
UnsupportedMediaType,
|
||||
Unauthorized,
|
||||
store,
|
||||
@@ -161,6 +162,19 @@ def readiness(request: Request):
|
||||
response.headers["X-Request-Id"] = rid
|
||||
response.headers["X-Instance-Id"] = INSTANCE_ID
|
||||
return response
|
||||
|
||||
try:
|
||||
storage.check_bucket()
|
||||
except Exception:
|
||||
rid = _rid(request)
|
||||
response = JSONResponse(
|
||||
status_code=503,
|
||||
content=_envelope("unavailable", "S3 unavailable", rid),
|
||||
)
|
||||
response.headers["X-Request-Id"] = rid
|
||||
response.headers["X-Instance-Id"] = INSTANCE_ID
|
||||
return response
|
||||
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@@ -276,6 +290,11 @@ MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760"))
|
||||
MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000"))
|
||||
ALLOWED_MIMES = {"image/png", "image/jpeg"}
|
||||
|
||||
from PIL import Image as _PILImage
|
||||
_PILImage.MAX_IMAGE_PIXELS = MAX_IMAGE_PIXELS
|
||||
|
||||
|
||||
import unicodedata
|
||||
|
||||
def _validate_filename(filename: str) -> None:
|
||||
if not filename:
|
||||
@@ -283,8 +302,10 @@ def _validate_filename(filename: str) -> None:
|
||||
if len(filename) > 255:
|
||||
raise BadRequest("filename too long")
|
||||
for ch in filename:
|
||||
if ch in ("/", "\\") or ord(ch) < 32 or ord(ch) == 127:
|
||||
if ch in ("/", "\\"):
|
||||
raise BadRequest("filename contains forbidden characters")
|
||||
if unicodedata.category(ch) == "Cc":
|
||||
raise BadRequest("filename contains control characters")
|
||||
|
||||
|
||||
def _sniff_mime(data: bytes) -> str:
|
||||
@@ -300,14 +321,20 @@ def _validate_image(data: bytes) -> tuple[int, int]:
|
||||
import io
|
||||
try:
|
||||
img = Image.open(io.BytesIO(data))
|
||||
w, h = img.size
|
||||
if w * h > MAX_IMAGE_PIXELS:
|
||||
raise PayloadTooLarge(
|
||||
f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})"
|
||||
)
|
||||
img.load()
|
||||
except PayloadTooLarge:
|
||||
raise
|
||||
except Image.DecompressionBombError:
|
||||
raise PayloadTooLarge(
|
||||
f"Image too large (decompression bomb protection)"
|
||||
) from None
|
||||
except Exception:
|
||||
raise UnsupportedMediaType("Image is corrupted or unsupported") from None
|
||||
w, h = img.size
|
||||
if w * h > MAX_IMAGE_PIXELS:
|
||||
raise PayloadTooLarge(
|
||||
f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})"
|
||||
)
|
||||
return w, h
|
||||
|
||||
|
||||
@@ -355,7 +382,12 @@ async def upload_attachment(
|
||||
_validate_image(data)
|
||||
|
||||
s3_key = storage.new_object_key(real_mime)
|
||||
sha256 = storage.put_object(s3_key, data, real_mime)
|
||||
try:
|
||||
sha256 = storage.put_object(s3_key, data, real_mime)
|
||||
except Exception as exc:
|
||||
import logging
|
||||
logging.getLogger("messenger").warning("S3 upload failed: %s", exc)
|
||||
raise Unavailable("S3 unavailable") from exc
|
||||
|
||||
try:
|
||||
attachment = store.create_attachment(
|
||||
|
||||
+14
-2
@@ -33,7 +33,13 @@ def init_storage() -> None:
|
||||
region_name=_env("S3_REGION", "us-east-1"),
|
||||
aws_access_key_id=_env("S3_ACCESS_KEY_ID"),
|
||||
aws_secret_access_key=_env("S3_SECRET_ACCESS_KEY"),
|
||||
config=Config(signature_version="s3v4", s3={"addressing_style": "path"}),
|
||||
config=Config(
|
||||
signature_version="s3v4",
|
||||
s3={"addressing_style": "path"},
|
||||
connect_timeout=1.0,
|
||||
read_timeout=2.0,
|
||||
retries={"max_attempts": 1, "mode": "standard"},
|
||||
),
|
||||
)
|
||||
log.info("storage client initialized")
|
||||
|
||||
@@ -86,4 +92,10 @@ def object_exists(key: str) -> bool:
|
||||
except ClientError as exc:
|
||||
if exc.response["Error"]["Code"] in ("404", "NoSuchKey"):
|
||||
return False
|
||||
raisev
|
||||
raisev
|
||||
|
||||
|
||||
def check_bucket() -> None:
|
||||
if _client is None:
|
||||
raise RuntimeError("storage not initialized")
|
||||
_client.head_bucket(Bucket=_bucket())
|
||||
+20
-2
@@ -54,6 +54,11 @@ class UnsupportedMediaType(ApiError):
|
||||
code = "unsupported_media_type"
|
||||
|
||||
|
||||
class Unavailable(ApiError):
|
||||
status = 503
|
||||
code = "unavailable"
|
||||
|
||||
|
||||
# ---------- утилиты ----------
|
||||
|
||||
def _now() -> datetime:
|
||||
@@ -109,11 +114,24 @@ def _decode_cursor(scope: str, cursor: str) -> Tuple[str, str]:
|
||||
data = json.loads(raw)
|
||||
if data.get("s") != scope:
|
||||
raise ValueError("scope mismatch")
|
||||
return data["t"], data["i"]
|
||||
t = data.get("t")
|
||||
i = data.get("i")
|
||||
if not isinstance(t, str) or not isinstance(i, str):
|
||||
raise ValueError("invalid cursor fields")
|
||||
from datetime import datetime
|
||||
from uuid import UUID
|
||||
try:
|
||||
datetime.fromisoformat(t.replace("Z", "+00:00"))
|
||||
except (ValueError, TypeError):
|
||||
raise ValueError("invalid timestamp in cursor") from None
|
||||
try:
|
||||
UUID(i)
|
||||
except (ValueError, TypeError):
|
||||
raise ValueError("invalid uuid in cursor") from None
|
||||
return t, i
|
||||
except Exception as exc:
|
||||
raise BadRequest("invalid cursor") from exc
|
||||
|
||||
|
||||
# ---------- Store ----------
|
||||
|
||||
class Store:
|
||||
|
||||
@@ -12,6 +12,7 @@ import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
import time
|
||||
|
||||
BASE = (
|
||||
sys.argv[sys.argv.index("--base-url") + 1]
|
||||
@@ -77,6 +78,147 @@ def upload(token, chat_id, filename, data, content_type):
|
||||
)
|
||||
|
||||
|
||||
def test_decompression_bomb():
|
||||
"""PNG 8200x5000 (41M пикселей) — маленький по размеру, но огромный по пикселям."""
|
||||
from PIL import Image
|
||||
import io as _io
|
||||
alice = make_user("bomb")
|
||||
chat = make_chat(alice)
|
||||
|
||||
img = Image.new("RGB", (8200, 5000), color=(255, 0, 0))
|
||||
buf = _io.BytesIO()
|
||||
img.save(buf, format="PNG", compress_level=9)
|
||||
data = buf.getvalue()
|
||||
assert len(data) < 500 * 1024, f"expected small compressed, got {len(data)}"
|
||||
|
||||
started = time.monotonic()
|
||||
code, _, _ = upload(alice["token"], chat, "bomb.png", data, "image/png")
|
||||
elapsed = time.monotonic() - started
|
||||
|
||||
assert code == 413, f"expected 413, got {code}"
|
||||
assert elapsed < 2.0, f"expected fast rejection (<2s), got {elapsed:.2f}s"
|
||||
print(f"PASS: decompression bomb -> 413 ({len(data)} bytes, {elapsed:.2f}s)")
|
||||
|
||||
|
||||
def test_invalid_cursor():
|
||||
"""Cursor с невалидным timestamp или UUID -> 400."""
|
||||
import base64 as _b64
|
||||
alice = make_user("cursor")
|
||||
chat = make_chat(alice)
|
||||
chat_id = chat
|
||||
|
||||
# Невалидный timestamp
|
||||
bad_t = _b64.urlsafe_b64encode(
|
||||
json.dumps({
|
||||
"s": f"chat:{chat_id}",
|
||||
"t": "not-a-time",
|
||||
"i": "00000000-0000-4000-8000-000000000000",
|
||||
}).encode()
|
||||
).decode().rstrip("=")
|
||||
code, _, _ = call(
|
||||
"GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_t}",
|
||||
headers={"Authorization": "Bearer " + alice["token"]},
|
||||
)
|
||||
assert code == 400, f"invalid timestamp: expected 400, got {code}"
|
||||
|
||||
# Невалидный UUID
|
||||
bad_i = _b64.urlsafe_b64encode(
|
||||
json.dumps({
|
||||
"s": f"chat:{chat_id}",
|
||||
"t": "2026-01-01T00:00:00.000000Z",
|
||||
"i": "not-a-uuid",
|
||||
}).encode()
|
||||
).decode().rstrip("=")
|
||||
code, _, _ = call(
|
||||
"GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_i}",
|
||||
headers={"Authorization": "Bearer " + alice["token"]},
|
||||
)
|
||||
assert code == 400, f"invalid uuid: expected 400, got {code}"
|
||||
|
||||
print("PASS: invalid cursor -> 400 (timestamp and uuid)")
|
||||
|
||||
|
||||
def test_filename_c1():
|
||||
"""Filename с C1 control (U+0085) -> 400."""
|
||||
from pathlib import Path
|
||||
fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png"
|
||||
png = fixture.read_bytes()
|
||||
alice = make_user("c1")
|
||||
chat = make_chat(alice)
|
||||
|
||||
# filename = "c1\u0085.png" — C1 control U+0085
|
||||
code, _, _ = call(
|
||||
"POST",
|
||||
f"/api/v1/chats/{chat}/attachments?filename=c1%C2%85.png",
|
||||
headers={
|
||||
"Authorization": "Bearer " + alice["token"],
|
||||
"Content-Type": "image/png",
|
||||
},
|
||||
raw=png,
|
||||
)
|
||||
assert code == 400, f"expected 400 for C1 filename, got {code}"
|
||||
print("PASS: C1 filename -> 400")
|
||||
|
||||
|
||||
def test_s3_unavailable():
|
||||
"""S3 down: readiness 503, upload 503."""
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
alice = make_user("s3down")
|
||||
chat = make_chat(alice)
|
||||
|
||||
# 1. Baseline: readiness 200
|
||||
code, _, _ = call("GET", "/health/ready")
|
||||
assert code == 200, f"readiness should be 200 before stop, got {code}"
|
||||
|
||||
# 2. Останавливаем S3
|
||||
try:
|
||||
subprocess.run(
|
||||
["docker", "compose", "--env-file", ".env", "stop", "s3"],
|
||||
check=True, capture_output=True, text=True,
|
||||
cwd=str(Path(__file__).resolve().parent.parent),
|
||||
timeout=30,
|
||||
)
|
||||
except subprocess.CalledProcessError as e:
|
||||
raise SystemExit(f"failed to stop s3: {e.stderr}")
|
||||
|
||||
import time as _t
|
||||
_t.sleep(3)
|
||||
|
||||
try:
|
||||
# 3. Readiness должен быть 503
|
||||
code, body, _ = call("GET", "/health/ready")
|
||||
assert code == 503, f"readiness should be 503 with S3 down, got {code}"
|
||||
assert body and body["error"]["code"] == "unavailable", \
|
||||
f"expected unavailable, got {body}"
|
||||
|
||||
# 4. Upload должен быть 503
|
||||
fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png"
|
||||
png = fixture.read_bytes()
|
||||
code, body, _ = upload(alice["token"], chat, "s3down.png", png, "image/png")
|
||||
assert code == 503, f"upload should be 503 with S3 down, got {code}"
|
||||
assert body and body["error"]["code"] == "unavailable", \
|
||||
f"expected unavailable, got {body}"
|
||||
|
||||
print("PASS: S3 down -> readiness 503, upload 503")
|
||||
finally:
|
||||
# 5. Возвращаем S3
|
||||
subprocess.run(
|
||||
["docker", "compose", "--env-file", ".env", "start", "s3"],
|
||||
check=False, capture_output=True, text=True,
|
||||
cwd=str(Path(__file__).resolve().parent.parent),
|
||||
timeout=30,
|
||||
)
|
||||
# Ждём готовности
|
||||
deadline = _t.monotonic() + 30
|
||||
while _t.monotonic() < deadline:
|
||||
code, _, _ = call("GET", "/health/ready")
|
||||
if code == 200:
|
||||
break
|
||||
_t.sleep(1)
|
||||
|
||||
|
||||
def main():
|
||||
alice = make_user("alice")
|
||||
bob = make_user("bob")
|
||||
@@ -138,8 +280,13 @@ def main():
|
||||
assert code == 404, f"cross-chat attachment: expected 404, got {code}"
|
||||
print("PASS: cross-chat attachment -> 404")
|
||||
|
||||
print("\nPASS: all negative attachment tests")
|
||||
print("\nNew tests from reviewer feedback")
|
||||
test_decompression_bomb()
|
||||
test_invalid_cursor()
|
||||
test_filename_c1()
|
||||
|
||||
print("\nS3 unavailable")
|
||||
test_s3_unavailable()
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user