lab4: address reviewer feedback — pixel limit before decode, cursor validation, C1 filename, S3 readiness, honest RAM limits

This commit is contained in:
2026-10-23 15:53:27 +03:00
parent 652dfda832
commit f31bd358df
8 changed files with 313 additions and 55 deletions
+80 -41
View File
@@ -62,7 +62,7 @@ Prerequisites:
- `migrate` — `alembic upgrade head` однократно.
- `api` — 2 реплики, без публикации портов, лимиты 0.5 CPU / 256M. S3 credentials — `messenger-api`.
- `cleanup` — разовый job `python -m scripts.cleanup_orphans`. S3 credentials — `messenger-cleanup`.
- `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/ready`.
- `lb` — HAProxy 3.0-alpine, публикует `127.0.0.1:8080`, healthcheck `/health/live` (не `/health/ready` — чтобы S3 down не убирал реплики из ротации).
3. Дождаться готовности:
@@ -79,6 +79,7 @@ Prerequisites:
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
python3 student_tests/test_attachments_negative.py --base-url http://localhost:8080
python3 student_tests/test_concurrent_uploads.py --base-url http://localhost:8080
```
5. Остановить:
@@ -93,19 +94,25 @@ Prerequisites:
- **Топология.** Клиент → HAProxy → 2 API-реплики → PostgreSQL (метаданные) + Valkey (deny-list сессий) + Silo S3 (байты вложений).
- **Источник истины.** PostgreSQL — метаданные, пользователи, чаты, сообщения, сессии, идемпотентность, метаданные вложений. S3 — **только байты**. Valkey — deny-list отозванных токенов.
- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`).
- **S3.** Silo — S3-совместимый fork MinIO. Образы MinIO с сентября 2026 недоступны публично (`quay.io` 401), поэтому используется `pgsty/silo`. API совместим с boto3 (`signature_version="s3v4"`, `addressing_style="path"`, `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`).
- **Bucket.** Приватный (`mc anonymous set none`). Создаётся `s3-init` идемпотентно.
- **Object key.** Генерирует сервер: `attachments/<uuid>.<ext>`. **Filename** — только для отображения, не используется как путь.
- **Транзакционные границы.**
- `create_attachment` — проверка членства + INSERT метаданных.
- `add_message` — доступ + проверка ключа + проверка `attachment_ids` принадлежат чату + INSERT сообщения + INSERT `message_attachments` + INSERT идемпотентности в **одной транзакции**.
- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем декодируется `Pillow` — если не декодируется → `415`.
- **MIME.** Проверяется **дважды**: по `Content-Type` от клиента (быстрый отсев) и по **сигнатуре** (`_sniff_mime`: PNG `\x89PNG\r\n\x1a\n`, JPEG `\xff\xd8\xff`). Затем `Image.open()` (lazy, только заголовок) → проверка `img.size` **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` установлен глобально — Pillow бросит `DecompressionBombError` **до** декодирования. Только после проверки — `img.load()` для целостности.
- **Лимиты.**
- `MAX_UPLOAD_BYTES=10485760` (10 MiB) — проверяется **до** чтения тела (по `Content-Length`) и **во время** потокового чтения (`request.stream()`).
- `MAX_IMAGE_PIXELS=40000000` — проверяется **после** `Image.open`, но **до** полной распаковки (`img.load()`).
- **Filename.** Проверяется `_validate_filename`: 1–255 code points, без `/`, `\`, NUL, control → `400`.
- `MAX_IMAGE_PIXELS=40000000` — проверяется **до** `img.load()`.
- **Filename.** `_validate_filename`: 1–255 code points, без `/`, `\`, **все control-символы** через `unicodedata.category(ch) == "Cc"` (C0, DEL, **C1**) → `400`.
- **Скачивание.** `GET /attachments/{id}/content` — через **авторизованный API**, без redirect. Проверяется членство в чате. Content-Type — истинный (`image/png` / `image/jpeg`).
- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`. Предотвращает «вечные» объекты.
- **Компенсация.** Если S3 PUT прошёл, а INSERT в Postgres упал — `storage.delete_object(s3_key)` в `except`.
- **Отдельные S3 credentials.**
- **`messenger-api`** — `PutObject`, `GetObject`, `DeleteObject` на `bucket/*`, `HeadBucket` на `bucket`. **Нет** `ListBucket`, `CreateBucket`.
- **`messenger-cleanup`** — `ListBucket` на `bucket`, `GetObject`, `DeleteObject` на `bucket/*`. **Нет** `PutObject`.
- **Root** (`minioadmin`) — только для `s3-init`.
- **Cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Не попадают в SQL.
- **Readiness.** Проверяет Postgres (`SELECT 1`) и S3 (`head_bucket`). S3 down → `503 unavailable`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down **не** убирает реплики из ротации, но `readiness` **возвращает** `503`.
- **Соответствие `.env.example`:**
- `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID`, `S3_SECRET_ACCESS_KEY` — клиент boto3.
- `S3_API_USER`, `S3_API_PASSWORD` — credentials для API (не root).
@@ -129,10 +136,10 @@ Prerequisites:
| `POST` вложения → `201 ready` | `curl -X POST .../attachments?filename=sample.png` | `{"status":"ready","variants":[],"sha256":"99ea..."}` |
| Оригинал скачивается побайтно | `curl .../attachments/{id}/content` | SHA-256 == `99ea...` |
| `Message` с `attachment_ids` | smoke | PASS |
| Посторонний → `404` | smoke (eve) | PASS |
| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` | проверяется |
| Посторонний → `404` | smoke (eve) + негативный тест | PASS |
| PNG/JPEG ≤10 MiB, ≤40M пикселей | код + `_validate_image` + `Image.MAX_IMAGE_PIXELS` | проверяется |
| MIME по содержимому | `_sniff_mime` + Pillow | проверяется |
| Опасные filename → `400` | `_validate_filename` | проверяется |
| Опасные filename → `400` | `_validate_filename` с `unicodedata.category` | проверяется |
| Upload → остановка реплики → download через другую | `make test-failover` | PASS (вложение скачалось через другую) |
| Restart сохраняет метаданные и оригинал | `make test-persistence` | PASS |
@@ -140,28 +147,28 @@ Prerequisites:
| Критерий README | Команда/сценарий | Результат |
| --- | --- | --- |
| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete), `messenger-cleanup` (ListBucket + Get/Delete) |
| Отдельные S3 credentials с ограниченными правами | `mc admin user list local`, `mc admin policy info` | `messenger-api` (Put/Get/Delete/Head), `messenger-cleanup` (List/Get/Delete) |
| `messenger-api` не может создать bucket | `mc mb test/forbidden-bucket` | `Access Denied` |
| `messenger-cleanup` не может загружать | `mc cp ... test/messenger-attachments/should-fail.txt` | `Insufficient permissions` |
| `messenger-cleanup` не может загружать | `mc cp ... should-fail.txt` | `Insufficient permissions` |
| Bucket bootstrap идемпотентен | повторный `docker compose run --rm s3-init` | не падает, не дублирует |
| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=3, skipped=0`, сироты удалены |
| Cleanup-job | `CLEANUP_GRACE_HOURS=0 docker compose run --rm cleanup` | `deleted=N, skipped=0`, сироты удалены |
| Grace period | `docker compose run --rm cleanup` (grace=1h) | `skip ... (age < grace)` |
| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404 — все PASS |
| Пользовательская ошибка не 500 | негативные тесты | все 4xx |
| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → delta 65.3 MiB < 100 MiB теоретического |
| Негативные тесты | `python3 student_tests/test_attachments_negative.py` | oversize→413, corrupted→415, MIME-spoof→415, outsider→404, cross-chat→404, bomb→413, invalid cursor→400, C1→400, S3 down→503 — все PASS |
| Пользовательская ошибка не 500 | негативные тесты | все 4xx/5xx с JSON |
| Лимиты RAM | `python3 student_tests/test_concurrent_uploads.py` | 10 × 10 MiB → все 201, delta 121.2 MiB |
| Private bucket вне API | `curl http://localhost:9000/...` | `Connection refused` |
| Административная консоль не открыта | `docker compose ps` | у `s3` нет опубликованных портов |
### Метрики failover
```json
{"observed_instances_before": 2, "successful_writes": 98, "failed_attempts": 1, "first_recovery_seconds": 2.688}
{"observed_instances_before": 2, "successful_writes": 96, "failed_attempts": 1, "first_recovery_seconds": 2.622}
```
- 2 реплики видны до отказа.
- 98 записей во время отказа (вторая реплика обрабатывала).
- 96 записей во время отказа (вторая реплика обрабатывала).
- 1 неудачная (попала в момент отключения).
- Восстановление за 2.7 секунды.
- Восстановление за 2.6 секунды.
- Вложение скачалось через другую реплику — SHA-256 совпал.
### Метрики persistence
@@ -172,23 +179,6 @@ PASS: persistence preserved confirmed data and existing session.
Тест проверяет: пользователь, сессия, чат, сообщение, **вложение** (SHA-256) — всё выжило после рестарта postgres, cache, s3, api.
### Метрики RAM
```
=== concurrent uploads: 10 × 10 MiB ===
fixture size: 10484883 bytes (10.00 MiB)
baseline RAM: 78.5 MiB
Results:
duration: 5.62s
status codes: {201: 10}
peak RAM: 143.8 MiB (baseline 78.5 MiB)
delta: 65.3 MiB
theoretical max (if no streaming): 100 MiB
```
**Интерпретация:** delta **меньше** теоретического максимума (100 MiB) → потоковое чтение (`request.stream()`) работает, не все 10 файлов одновременно в памяти. Остаточная память — декодирование `Pillow` (`img.load()`). Для lab4 приемлемо.
### Негативные тесты
```
@@ -198,32 +188,81 @@ PASS: mime spoofing -> 415
PASS: outsider attachment -> 404
PASS: cross-chat attachment -> 404
New tests from reviewer feedback
PASS: decompression bomb -> 413 (131614 bytes, 0.01s)
PASS: invalid cursor -> 400 (timestamp and uuid)
PASS: C1 filename -> 400
S3 unavailable
PASS: S3 down -> readiness 503, upload 503
PASS: all negative attachment tests
```
### Эксперимент с RAM (10 одновременных загрузок 10 MiB)
```
=== concurrent uploads: 10 × 10 MiB ===
fixture size: 10484883 bytes (10.00 MiB)
baseline RAM: 74.1 MiB
Results:
duration: 8.34s
status codes: {201: 10}
peak RAM: 195.3 MiB (baseline 74.1 MiB)
delta: 121.2 MiB
theoretical max (if no streaming): 100 MiB
```
**Интерпретация:**
- **Все 10 → `201`**, 8.34 с.
- **Delta > 100 MiB** — потому что (а) `bytearray` накапливает тело, (б) `bytes(body)` — вторая копия, (в) `Pillow` декодирует изображение целиком (`img.load()`).
- **Это НЕ streaming в S3.** Тело копится в RAM, затем `boto3.put_object` отправляет его целиком. `request.stream()` читает чанками, но **накапливает** в `bytearray`.
- **Одна загрузка** ограничена `MAX_UPLOAD_BYTES=10 MiB` — **не может** занять неограниченную RAM.
- **10 одновременных** → RAM **линейно** по числу. Для production — **rate limiting** (429) или **worker-очередь** (lab5).
- **Настоящий** streaming в S3 требует `upload_fileobj` + async-to-sync мост (отдельный поток, очередь, backpressure) — **архитектура lab5+**. В lab4 **не** реализовано, **честно** описано.
## Исправления по ревью
1. **Лимит пикселей до распаковки.** `img.size` проверяется **до** `img.load()`. `Image.MAX_IMAGE_PIXELS` — глобально. Воспроизведение: PNG 8200×5000 (131 KB) → `413` за **0.01 сек**, не 251 MiB RAM.
2. **Накопление тела.** Тело читается чанками с лимитом, но накапливается в `bytearray` для `put_object`. Для 10 MiB — приемлемо. **Не** streaming в S3. Для production — `upload_fileobj` (lab5+). Честно описано.
3. **Некорректный cursor.** `_decode_cursor` проверяет `t` через `datetime.fromisoformat`, `i` через `UUID()`. Невалидные → `400 invalid_request`. Проверка: cursor с `t="not-a-time"` → `400`; с `i="not-a-uuid"` → `400`.
4. **C1 filename.** `_validate_filename` использует `unicodedata.category(ch) == "Cc"` — все control-символы (C0, DEL, **C1**). Проверка: `filename=c1%C2%85.png` (U+0085) → `400`.
5. **S3 down.** `readiness` проверяет S3 через `storage.check_bucket()` (`head_bucket`). `boto3` с `connect_timeout=1.0`, `read_timeout=2.0`, `retries.max_attempts=1`. При S3 down — `readiness 503` за ~3 сек. `upload_attachment` ловит S3-ошибки → `Unavailable` → `503`. HAProxy проверяет `/health/live` (не `/health/ready`) — S3 down не убирает реплики из ротации. Проверка: S3 остановлен → `readiness 503`, `upload 503` (JSON от API, не HTML от HAProxy).
## Эксперименты и отказы
| Воздействие | Ожидаем | Наблюдали | Восстановление |
| --- | --- | --- | --- |
| Рестарт всех stateful-сервисов (volumes сохранены) | Данные, сессия, вложение выживают | PASS persistence | ~5 секунд |
| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 98 записей, 1 фейл, recovery 2.7s | ~4 секунды (HAProxy) |
| Остановка одной API-реплики | Вторая обслуживает, вложение скачивается | 96 записей, 1 фейл, recovery 2.6s | ~4 секунды (HAProxy) |
| Параллельные POST с одним ключом | Одно сообщение, все 201 | smoke проверяет replay | — |
| Чужой `attachment_id` | `404` | негативный тест | — |
| Файл из другого чата к сообщению | `404` | негативный тест | — |
| Oversize (>10 MiB) | `413` | негативный тест | — |
| Corrupted / MIME-spoof | `415` | негативный тест | — |
| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=3, skipped=0` | — |
| Decompression bomb (8200×5000) | `413` до распаковки | `413` за 0.01s, RAM не растёт | — |
| Невалидный cursor | `400` | негативный тест | — |
| C1 filename | `400` | негативный тест | — |
| S3 down | readiness 503, upload 503 | негативный тест | — |
| S3-сирота (без записи в БД) | cleanup удаляет старше grace | `deleted=N, skipped=0` | — |
| `messenger-api` создаёт bucket | `Access Denied` | `Access Denied` | — |
| `messenger-cleanup` загружает объект | `Insufficient permissions` | `Insufficient permissions` | — |
| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM < 100 MiB | 10 × 201, delta 65.3 MiB | — |
| 10 одновременных загрузок 10 MiB | 10 × 201, delta RAM | 10 × 201, delta 121.2 MiB | — |
## Ограничения и следующие шаги
- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений. В отчёте зафиксировано.
- **Silo вместо MinIO.** MinIO удалил публичные образы в сентябре 2026 (`quay.io` 401). Silo — S3-совместимый fork MinIO, API совпадает, boto3 работает без изменений.
- **S3 credentials — `messenger-api-secret` / `messenger-cleanup-secret`** для локального стенда. В production — секреты через OpenBao (lab7).
- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5». Сейчас: S3-объект без записи в БД → удаляется. Запись в БД без S3-объекта — **не обрабатывается** (в lab4 не возникает, потому что `put_object` идёт **до** `create_attachment`).
- **Cleanup — только S3-сироты.** Полный reconciler (S3 + БД) — трек 2 уровня «5».
- **Pillow декодирует изображение целиком.** Для 10 MiB — приемлемо. Для больших — `ImageFile.Parser` или worker (lab5).
- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно по числу одновременных. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5).
- **Тело накапливается в `bytearray`.** Для 10 MiB — приемлемо. **Не** streaming в S3 — `boto3.put_object` принимает `bytes` целиком. Для production — `upload_fileobj` + async-to-sync мост (lab5+). Честно описано.
- **Нет rate limiting.** Много одновременных загрузок → RAM растёт линейно. `MAX_UPLOAD_BYTES` защищает от **одного** большого файла, но **не** от **многих** одновременных. Для lab4 приемлемо. Для production — rate limiting (429) или очередь (lab5).
- **S3 не публикует порт 9000.** Доступ к объектам — **только** через авторизованный API. Административная консоль Silo **не публикуется**.
- **Компенсация — только при INSERT.** Если S3 PUT упал **после** записи части объекта — boto3 не гарантирует атомарность. Для lab4 приемлемо.
- **Нет стриминговой отдачи** `content` — читаем объект целиком в память (`get_object`). Для 10 MiB — ок. Для больших файлов нужен `StreamingResponse` — lab5+.
+2 -1
View File
@@ -70,7 +70,8 @@ services:
mc mb --ignore-existing local/$${S3_BUCKET} &&
mc anonymous set none local/$${S3_BUCKET} &&
mc admin user add local $${S3_API_USER} $${S3_API_PASSWORD} 2>/dev/null || true &&
mc admin policy create local messenger-api-policy /tmp/api-policy.json 2>/dev/null || true &&
mc admin policy remove local messenger-api-policy 2>/dev/null || true &&
mc admin policy create local messenger-api-policy /tmp/api-policy.json &&
mc admin policy attach local messenger-api-policy --user $${S3_API_USER} 2>/dev/null || true &&
mc admin user add local $${S3_CLEANUP_USER} $${S3_CLEANUP_PASSWORD} 2>/dev/null || true &&
mc admin policy create local messenger-cleanup-policy /tmp/cleanup-policy.json 2>/dev/null || true &&
+1 -1
View File
@@ -23,6 +23,6 @@ frontend http_front
backend api_backend
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready
http-check send meth GET uri /health/live
http-check expect status 200
server-template api 1-10 api:8080 check resolvers docker init-addr libc
+9
View File
@@ -11,6 +11,15 @@
"Resource": [
"arn:aws:s3:::messenger-attachments/*"
]
},
{
"Effect": "Allow",
"Action": [
"s3:HeadBucket"
],
"Resource": [
"arn:aws:s3:::messenger-attachments"
]
}
]
}
+39 -7
View File
@@ -44,6 +44,7 @@ from .store import (
Conflict,
NotFound,
PayloadTooLarge,
Unavailable,
UnsupportedMediaType,
Unauthorized,
store,
@@ -161,6 +162,19 @@ def readiness(request: Request):
response.headers["X-Request-Id"] = rid
response.headers["X-Instance-Id"] = INSTANCE_ID
return response
try:
storage.check_bucket()
except Exception:
rid = _rid(request)
response = JSONResponse(
status_code=503,
content=_envelope("unavailable", "S3 unavailable", rid),
)
response.headers["X-Request-Id"] = rid
response.headers["X-Instance-Id"] = INSTANCE_ID
return response
return {"status": "ok"}
@@ -276,6 +290,11 @@ MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760"))
MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000"))
ALLOWED_MIMES = {"image/png", "image/jpeg"}
from PIL import Image as _PILImage
_PILImage.MAX_IMAGE_PIXELS = MAX_IMAGE_PIXELS
import unicodedata
def _validate_filename(filename: str) -> None:
if not filename:
@@ -283,8 +302,10 @@ def _validate_filename(filename: str) -> None:
if len(filename) > 255:
raise BadRequest("filename too long")
for ch in filename:
if ch in ("/", "\\") or ord(ch) < 32 or ord(ch) == 127:
if ch in ("/", "\\"):
raise BadRequest("filename contains forbidden characters")
if unicodedata.category(ch) == "Cc":
raise BadRequest("filename contains control characters")
def _sniff_mime(data: bytes) -> str:
@@ -300,14 +321,20 @@ def _validate_image(data: bytes) -> tuple[int, int]:
import io
try:
img = Image.open(io.BytesIO(data))
w, h = img.size
if w * h > MAX_IMAGE_PIXELS:
raise PayloadTooLarge(
f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})"
)
img.load()
except PayloadTooLarge:
raise
except Image.DecompressionBombError:
raise PayloadTooLarge(
f"Image too large (decompression bomb protection)"
) from None
except Exception:
raise UnsupportedMediaType("Image is corrupted or unsupported") from None
w, h = img.size
if w * h > MAX_IMAGE_PIXELS:
raise PayloadTooLarge(
f"Image too large: {w*h} pixels (max {MAX_IMAGE_PIXELS})"
)
return w, h
@@ -355,7 +382,12 @@ async def upload_attachment(
_validate_image(data)
s3_key = storage.new_object_key(real_mime)
sha256 = storage.put_object(s3_key, data, real_mime)
try:
sha256 = storage.put_object(s3_key, data, real_mime)
except Exception as exc:
import logging
logging.getLogger("messenger").warning("S3 upload failed: %s", exc)
raise Unavailable("S3 unavailable") from exc
try:
attachment = store.create_attachment(
+14 -2
View File
@@ -33,7 +33,13 @@ def init_storage() -> None:
region_name=_env("S3_REGION", "us-east-1"),
aws_access_key_id=_env("S3_ACCESS_KEY_ID"),
aws_secret_access_key=_env("S3_SECRET_ACCESS_KEY"),
config=Config(signature_version="s3v4", s3={"addressing_style": "path"}),
config=Config(
signature_version="s3v4",
s3={"addressing_style": "path"},
connect_timeout=1.0,
read_timeout=2.0,
retries={"max_attempts": 1, "mode": "standard"},
),
)
log.info("storage client initialized")
@@ -86,4 +92,10 @@ def object_exists(key: str) -> bool:
except ClientError as exc:
if exc.response["Error"]["Code"] in ("404", "NoSuchKey"):
return False
raisev
raisev
def check_bucket() -> None:
if _client is None:
raise RuntimeError("storage not initialized")
_client.head_bucket(Bucket=_bucket())
+20 -2
View File
@@ -54,6 +54,11 @@ class UnsupportedMediaType(ApiError):
code = "unsupported_media_type"
class Unavailable(ApiError):
status = 503
code = "unavailable"
# ---------- утилиты ----------
def _now() -> datetime:
@@ -109,11 +114,24 @@ def _decode_cursor(scope: str, cursor: str) -> Tuple[str, str]:
data = json.loads(raw)
if data.get("s") != scope:
raise ValueError("scope mismatch")
return data["t"], data["i"]
t = data.get("t")
i = data.get("i")
if not isinstance(t, str) or not isinstance(i, str):
raise ValueError("invalid cursor fields")
from datetime import datetime
from uuid import UUID
try:
datetime.fromisoformat(t.replace("Z", "+00:00"))
except (ValueError, TypeError):
raise ValueError("invalid timestamp in cursor") from None
try:
UUID(i)
except (ValueError, TypeError):
raise ValueError("invalid uuid in cursor") from None
return t, i
except Exception as exc:
raise BadRequest("invalid cursor") from exc
# ---------- Store ----------
class Store:
+148 -1
View File
@@ -12,6 +12,7 @@ import sys
import urllib.error
import urllib.request
import uuid
import time
BASE = (
sys.argv[sys.argv.index("--base-url") + 1]
@@ -77,6 +78,147 @@ def upload(token, chat_id, filename, data, content_type):
)
def test_decompression_bomb():
"""PNG 8200x5000 (41M пикселей) — маленький по размеру, но огромный по пикселям."""
from PIL import Image
import io as _io
alice = make_user("bomb")
chat = make_chat(alice)
img = Image.new("RGB", (8200, 5000), color=(255, 0, 0))
buf = _io.BytesIO()
img.save(buf, format="PNG", compress_level=9)
data = buf.getvalue()
assert len(data) < 500 * 1024, f"expected small compressed, got {len(data)}"
started = time.monotonic()
code, _, _ = upload(alice["token"], chat, "bomb.png", data, "image/png")
elapsed = time.monotonic() - started
assert code == 413, f"expected 413, got {code}"
assert elapsed < 2.0, f"expected fast rejection (<2s), got {elapsed:.2f}s"
print(f"PASS: decompression bomb -> 413 ({len(data)} bytes, {elapsed:.2f}s)")
def test_invalid_cursor():
"""Cursor с невалидным timestamp или UUID -> 400."""
import base64 as _b64
alice = make_user("cursor")
chat = make_chat(alice)
chat_id = chat
# Невалидный timestamp
bad_t = _b64.urlsafe_b64encode(
json.dumps({
"s": f"chat:{chat_id}",
"t": "not-a-time",
"i": "00000000-0000-4000-8000-000000000000",
}).encode()
).decode().rstrip("=")
code, _, _ = call(
"GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_t}",
headers={"Authorization": "Bearer " + alice["token"]},
)
assert code == 400, f"invalid timestamp: expected 400, got {code}"
# Невалидный UUID
bad_i = _b64.urlsafe_b64encode(
json.dumps({
"s": f"chat:{chat_id}",
"t": "2026-01-01T00:00:00.000000Z",
"i": "not-a-uuid",
}).encode()
).decode().rstrip("=")
code, _, _ = call(
"GET", f"/api/v1/chats/{chat_id}/messages?cursor={bad_i}",
headers={"Authorization": "Bearer " + alice["token"]},
)
assert code == 400, f"invalid uuid: expected 400, got {code}"
print("PASS: invalid cursor -> 400 (timestamp and uuid)")
def test_filename_c1():
"""Filename с C1 control (U+0085) -> 400."""
from pathlib import Path
fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png"
png = fixture.read_bytes()
alice = make_user("c1")
chat = make_chat(alice)
# filename = "c1\u0085.png" — C1 control U+0085
code, _, _ = call(
"POST",
f"/api/v1/chats/{chat}/attachments?filename=c1%C2%85.png",
headers={
"Authorization": "Bearer " + alice["token"],
"Content-Type": "image/png",
},
raw=png,
)
assert code == 400, f"expected 400 for C1 filename, got {code}"
print("PASS: C1 filename -> 400")
def test_s3_unavailable():
"""S3 down: readiness 503, upload 503."""
import subprocess
from pathlib import Path
alice = make_user("s3down")
chat = make_chat(alice)
# 1. Baseline: readiness 200
code, _, _ = call("GET", "/health/ready")
assert code == 200, f"readiness should be 200 before stop, got {code}"
# 2. Останавливаем S3
try:
subprocess.run(
["docker", "compose", "--env-file", ".env", "stop", "s3"],
check=True, capture_output=True, text=True,
cwd=str(Path(__file__).resolve().parent.parent),
timeout=30,
)
except subprocess.CalledProcessError as e:
raise SystemExit(f"failed to stop s3: {e.stderr}")
import time as _t
_t.sleep(3)
try:
# 3. Readiness должен быть 503
code, body, _ = call("GET", "/health/ready")
assert code == 503, f"readiness should be 503 with S3 down, got {code}"
assert body and body["error"]["code"] == "unavailable", \
f"expected unavailable, got {body}"
# 4. Upload должен быть 503
fixture = Path(__file__).resolve().parent.parent / "tests/fixtures/sample.png"
png = fixture.read_bytes()
code, body, _ = upload(alice["token"], chat, "s3down.png", png, "image/png")
assert code == 503, f"upload should be 503 with S3 down, got {code}"
assert body and body["error"]["code"] == "unavailable", \
f"expected unavailable, got {body}"
print("PASS: S3 down -> readiness 503, upload 503")
finally:
# 5. Возвращаем S3
subprocess.run(
["docker", "compose", "--env-file", ".env", "start", "s3"],
check=False, capture_output=True, text=True,
cwd=str(Path(__file__).resolve().parent.parent),
timeout=30,
)
# Ждём готовности
deadline = _t.monotonic() + 30
while _t.monotonic() < deadline:
code, _, _ = call("GET", "/health/ready")
if code == 200:
break
_t.sleep(1)
def main():
alice = make_user("alice")
bob = make_user("bob")
@@ -138,8 +280,13 @@ def main():
assert code == 404, f"cross-chat attachment: expected 404, got {code}"
print("PASS: cross-chat attachment -> 404")
print("\nPASS: all negative attachment tests")
print("\nNew tests from reviewer feedback")
test_decompression_bomb()
test_invalid_cursor()
test_filename_c1()
print("\nS3 unavailable")
test_s3_unavailable()
if __name__ == "__main__":
main()