forked from mtusi2026/mtusi2026lab4
Проверять содержимое изображений: байты фильтра PNG и настоящее декодирование JPEG
This commit is contained in:
@@ -6,7 +6,7 @@ COMPOSE = docker compose --env-file .env
|
||||
COMPOSE_TEST = $(COMPOSE) -f compose.yaml -f compose.test.yaml
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo
|
||||
.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo test-images
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@@ -84,3 +84,8 @@ upload-peak:
|
||||
# сценарий защиты: файл, сообщение, второй участник, посторонний, прямой GET в S3
|
||||
attachment-demo:
|
||||
$(PYTHON) scripts/attachment_demo.py
|
||||
|
||||
# разбор изображений и сверка с Pillow внутри образа API: там установлен декодер
|
||||
test-images:
|
||||
COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \
|
||||
docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v'
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен
|
||||
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/42
|
||||
- Использованные источники, библиотеки и помощь ИИ:
|
||||
- библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`);
|
||||
- библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, Pillow 13.0.0, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`);
|
||||
- источники: документация SeaweedFS (S3 API, конфигурация ключей), AWS S3 и boto3, спецификации PNG и JPEG (структура блоков и маркеров), `contracts/README.md`;
|
||||
- помощь ИИ: ИИ-ассистент использовался во вспомогательных целях.
|
||||
|
||||
@@ -22,9 +22,10 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make restore # вернуть реплику, остановленную failover-тестом
|
||||
|
||||
make attachment-demo # сценарий защиты: файл, сообщение, посторонний, прямой GET в S3
|
||||
make student-test # тесты API, вложений и разбора изображений
|
||||
make student-test # тесты API и вложений
|
||||
make test-images # разбор изображений и сверка с Pillow внутри образа API
|
||||
make test-failures # сбой между S3 и БД, отказ S3, приватность bucket, отказ Redis и PostgreSQL
|
||||
make upload-peak # 1, 10 и 30 одновременных загрузок по 10 MiB с замером памяти
|
||||
make upload-peak # 1, 10 и 30 загрузок по 10 MiB и 10 самых тяжёлых JPEG с замером памяти
|
||||
make janitor # один проход очистки вручную
|
||||
make failover-each # остановка каждой реплики под нагрузкой
|
||||
make rolling-update APP_VERSION=2
|
||||
@@ -58,7 +59,7 @@ s3-init, migrate: одноразовые контейнеры до старта
|
||||
| Роль | Сервис | Образ | Готовность | Volume | Сеть и порт | Лимиты | Секреты |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `infra/haproxy` на `haproxy:3.2.26-alpine` | `/lb-health` | нет | `edge`, опубликован только `127.0.0.1:8080` | 0,5 CPU, 128 МБ | нет |
|
||||
| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 256 МБ | БД, Redis, S3-ключ API |
|
||||
| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 512 МБ | БД, Redis, S3-ключ API |
|
||||
| очистка | `janitor` | тот же образ | нет, цикл с логом | нет | `data`, `storage` | 0,25 CPU, 128 МБ | БД, S3-ключ janitor |
|
||||
| bootstrap | `migrate`, `s3-init` | тот же образ | одноразовые, код выхода 0 | нет | `data`; `storage` | 0,5 CPU, 128 МБ | БД; S3-ключ admin |
|
||||
| s3 | `s3` | `infra/s3` на `chrislusf/seaweedfs:4.50` | том данных зарегистрирован в мастере и S3 отвечает | `s3data` | `storage`, порт 9000 не опубликован | 1 CPU, 1 ГБ | все три S3-ключа |
|
||||
@@ -111,6 +112,8 @@ s3-init, migrate: одноразовые контейнеры до старта
|
||||
| размер файла | 10 MiB (`MAX_UPLOAD_BYTES`) | 413; по `Content-Length` сразу, без него на ходу приёма |
|
||||
| грубый предел на балансировщике | 11 MiB | 413 до API |
|
||||
| пиксели | 40 млн (`MAX_IMAGE_PIXELS`) | 413 из заголовка, без распаковки |
|
||||
| сканов в JPEG | 100 | 415: каждый скан заставляет декодер пройти всё изображение, в 10 MiB их поместились бы тысячи |
|
||||
| декодирований JPEG на реплику | 1 | следующее ждёт, память не складывается |
|
||||
| тело JSON-запроса | 1 MiB | 413 |
|
||||
| время приёма файла | 60 с | 400 |
|
||||
| загрузок на реплику | 32 | 429 с `Retry-After` |
|
||||
@@ -119,7 +122,13 @@ s3-init, migrate: одноразовые контейнеры до старта
|
||||
|
||||
В памяти одновременно находится только текущий блок: тело читается потоком, файл уходит в S3 из временного файла, скачивание отдаётся блоками по 64 КБ.
|
||||
|
||||
**Проверка изображения без декодирования (`src/images.py`).** Пиксели в память не распаковываются, поэтому decompression bomb не опасна: размер берётся из заголовка до любой работы с данными. PNG: сигнатура, порядок блоков, CRC каждого блока, потоковая распаковка IDAT с выбрасыванием результата, сверка объёма данных с размером изображения, запрет данных после IEND. JPEG: структура маркеров, наличие кадра и скана, маркер конца. Настоящий тип должен совпасть с `Content-Type`, иначе 415. Pillow не используется: полное декодирование 40 млн пикселей заняло бы около 120 МБ на файл при лимите реплики 256 МБ.
|
||||
**Проверка изображения (`src/images.py`).** Размер берётся из заголовка до любой работы с данными, поэтому decompression bomb отсекается сразу. Настоящий тип должен совпасть с `Content-Type`, иначе 415.
|
||||
|
||||
*PNG* проверяется потоково, память не зависит от размера изображения: сигнатура, порядок блоков (IHDR первым, IDAT подряд, PLTE до данных и обязателен для палитры, неизвестные обязательные блоки запрещены), CRC каждого блока, распаковка с выбрасыванием результата, байт фильтра 0–4 в начале каждой строки, точный объём данных, в том числе для чересстрочных изображений Adam7, запрет данных после конца.
|
||||
|
||||
*JPEG* так проверить нельзя: понять, что в скане настоящие данные, можно только декодированием. Поэтому сначала идёт быстрый разбор маркеров (размер, заголовок кадра, число сканов, объём данных не меньше 1 бита на блок), затем настоящий декодер Pillow с уменьшением в 8 раз. Файл принимается, только если декодер дошёл до конца. Обычный JPEG при этом занимает около 6 МБ. Прогрессивный хранит коэффициенты всего изображения, уменьшение тут не помогает: измерено 234 МБ для RGB и 311 МБ для CMYK на 40 млн пикселей. Поэтому декодирование идёт по одному на реплику, а лимит реплики поднят до 512 МБ.
|
||||
|
||||
Почему PNG не отдан Pillow целиком: 40 млн пикселей RGBA заняли бы 160 МБ, а уменьшения при чтении у PNG нет. Соответствие декодеру проверяется отдельно, см. раздел об экспериментах.
|
||||
|
||||
**Имя файла.** 1–255 символов Unicode, запрещены `/`, `\`, NUL, управляющие символы, символы смены направления текста (ими маскируют расширение), строки из пробелов, `.` и `..`.
|
||||
|
||||
@@ -147,6 +156,10 @@ Bucket приватный: в конфигурации сервера нет а
|
||||
|
||||
Ключ, сообщение и ссылки на вложения пишутся одной транзакцией. Проверка вложений (готово и лежит в этом чате) выполняется в ней же: чужое или неизвестное вложение даёт 404 и откатывает занятие ключа, поэтому ключ можно использовать снова. Повтор сравнивается по тексту и списку `attachment_ids`; отсутствующий список равен пустому, другой список — 409.
|
||||
|
||||
### Исправления по замечаниям
|
||||
|
||||
**Неполная проверка корректности изображения.** PNG 1×1 с верными CRC и строкой с недопустимым фильтром `ff`, а также JPEG из 27 байт только с заголовками принимались как `ready`: первая версия проверяла форму файла, но не его содержимое. Теперь PNG проверяется построчно, JPEG проходит через настоящий декодер (раздел о проверке изображения выше). Оба файла из замечания дают 415, тесты: `test_files_from_review`, `ReviewCasesTest`. Чтобы не исправлять только два примера, добавлена сверка с Pillow на 11 580 испорченных файлах.
|
||||
|
||||
### Что перенесено из lab3 и что изменено
|
||||
|
||||
Перенесены: балансировщик и реплики, сессии в Redis, идемпотентность, миграции, поочерёдная замена, строгий разбор JSON, все тесты. Добавлены: сервисы `s3`, `s3-init`, `janitor`, сеть `storage`, миграция `0003`, endpoint вложений, поле `attachment_ids`. Изменено: `timeout server` балансировщика 20 с вместо 12; строгие лимиты тела JSON (раньше лимита не было). Миграция `0003` снимает требование непустого текста и добавляет таблицы, версия lab3 на такой схеме продолжила бы работать; совместная работа разных версий не проверялась.
|
||||
@@ -173,38 +186,53 @@ Bucket приватный: в конфигурации сервера нет а
|
||||
| Публичный smoke сразу после чистого запуска | `make up`, `make test` | `PASS: lab4 public API scenario` | `evidence/01-up-and-smoke.txt` |
|
||||
| 3: S3 в общем стенде, метаданные в PostgreSQL, байты в приватном bucket | `make up`, `make attachment-demo` | сервис `s3`, прямой GET без подписи 403 | `evidence/01-up-and-smoke.txt`, `evidence/02-defense-scenario.txt` |
|
||||
| 3: 201 ready, побайтное скачивание, сообщение с вложением, посторонний 404 | `make attachment-demo`, `test_attachments.py` | sha256 совпал, посторонний 404 на метаданные и байты | `evidence/02-defense-scenario.txt`, `evidence/03-student-tests.txt` |
|
||||
| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `test_images.py` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415 | `evidence/03-student-tests.txt` |
|
||||
| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `make test-images` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415; 0 файлов принято вопреки Pillow | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` |
|
||||
| 3: upload → остановка реплики → download через другую | `make test-failover`, 2 прогона | `PASS`, контейнер `exited`, файл скачан и совпал | `evidence/05-failover-public.txt` |
|
||||
| 3: restart сохраняет метаданные и оригинал | `make test-persistence` | `PASS`, новое время старта у всех контейнеров, включая `s3` | `evidence/04-persistence.txt` |
|
||||
| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt` |
|
||||
| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 6 подтверждённых файлов скачиваются | `evidence/08-failures.txt` |
|
||||
| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py`, `make test-images` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` |
|
||||
| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 3 подтверждённых файла скачиваются | `evidence/08-failures.txt` |
|
||||
| 4: grace period и безопасность очистки | `test_grace_period_protects_fresh_upload`, `test_ready_attachments_are_never_removed` | свежий `pending` и `ready` не тронуты | `evidence/08-failures.txt` |
|
||||
| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` |
|
||||
| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 у S3 и реплик | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` |
|
||||
| 4: bootstrap идемпотентен | `docker compose run --rm s3-init` | `bucket уже есть`, объекты не изменились | `evidence/04-persistence.txt`, `evidence/08-failures.txt` |
|
||||
| 4: отдельный S3-ключ с ограниченными правами | `test_bucket_is_private_and_api_key_is_limited` | list, create, delete bucket — AccessDenied | `evidence/08-failures.txt` |
|
||||
| 4: консоль не открыта, проверка private bucket вне API | `docker compose ps`, тот же тест | порты `s3` не опубликованы, анонимный GET 403 | `evidence/10-containers.txt`, `evidence/08-failures.txt` |
|
||||
| Отказ S3 | `test_s3_down`, `test_failed_upload_is_cleaned` | 503 на файлах, текст и готовность работают, `pending` убран | `evidence/08-failures.txt` |
|
||||
| Возможности lab3: failover, поочерёдная замена | `make failover-each`, `make rolling-update` | см. таблицу ниже | `evidence/06-failover-each.txt`, `evidence/07-rolling-update.txt` |
|
||||
| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,73 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` |
|
||||
| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,57 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` |
|
||||
|
||||
Собственные тесты: 142 в `make student-test` (39 вложения, 16 разбор изображений, остальные API) и 27 в `make test-failures` (12 про хранение). `test_images.py` дополнительно портит настоящие изображения случайными байтами 12 000 раз и проверяет, что разбор не падает.
|
||||
Собственные тесты: 127 в `make student-test` (40 про вложения), 40 в `make test-images` и 27 в `make test-failures` (12 про хранение).
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
### Проверка изображений против настоящего декодера
|
||||
|
||||
Гипотеза: файл, который декодер отвергает, не проходит и наш разбор. Методика (`student-tests/image/test_against_pillow.py`, запуск в образе API): Pillow загружает файл полностью и без уменьшения и служит судьёй. Все файлы, которые он умеет записать (PNG 1/L/LA/P/RGB/RGBA/16 бит, JPEG gray/RGB/CMYK, все виды прореживания, прогрессивный, с маркерами рестарта, 1×1), должны приниматься. Испорченные должны отвергаться, если их отвергает Pillow.
|
||||
|
||||
| Набор | Файлов | Принято нами | Принято вопреки Pillow |
|
||||
| --- | --- | --- | --- |
|
||||
| случайная замена байтов | 6200 | 2218 | 0 |
|
||||
| обрезка, в том числе с дописанным маркером конца | 2480 | 370 | 0 |
|
||||
| PNG с верными CRC и случайными данными | 1500 | 1354 | 0 |
|
||||
| JPEG с настоящими заголовками и случайным сканом | 800 | 792 | 0 |
|
||||
| случайный порядок блоков PNG | 600 | 0 | 0 |
|
||||
|
||||
Ограничение: Pillow здесь судья и для JPEG, и libjpeg терпим к мусору в сжатых данных. Поэтому 792 файла из 800 в четвёртой строке приняты: случайные байты декодер читает как шум. Обнаружить такое можно только анализом самого изображения.
|
||||
|
||||
### Память при одновременных загрузках
|
||||
|
||||
Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт. Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд.
|
||||
Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок, а самый тяжёлый JPEG укладывается в лимит реплики. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт и 10 загрузок прогрессивного CMYK JPEG на 40 млн пикселей (2,6 МиБ). Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд.
|
||||
|
||||
| Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ |
|
||||
| --- | --- | --- | --- |
|
||||
| 0 (после старта) | — | — | 117 |
|
||||
| 1 | 0,14–1,83 | 5 из 5 | 117–118 |
|
||||
| 10 | 1,29–3,87 | 50 из 50 | 124–126 |
|
||||
| 30 | 3,79–6,43 | 150 из 150 | 126–129 |
|
||||
| Файл | Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| — (после старта) | 0 | — | — | 117 |
|
||||
| PNG 10 MiB | 1 | 0,14–0,17 | 5 из 5 | 117–119 |
|
||||
| PNG 10 MiB | 10 | 1,34–2,10 | 50 из 50 | 124–127 |
|
||||
| PNG 10 MiB | 30 | 4,89–7,19 | 150 из 150 | 127–131 |
|
||||
| прогрессивный JPEG, 40 млн пикселей | 10 | 1,31–1,47 | 50 из 50 | 435–440 |
|
||||
|
||||
Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 12 МиБ, гипотеза подтверждается. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117 и упёрлась бы в лимит 256 МБ.
|
||||
Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 13 МиБ. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117. Десять самых тяжёлых JPEG дают пик одного декодирования, а не десяти, это подтверждает работу ограничения: иначе реплика ушла бы за лимит 512 МБ.
|
||||
|
||||
Ограничение измерения: `memory.peak` контейнера доходит до лимита 256 МБ, но в него входит кэш страниц временных файлов, который система освобождает. OOM на репликах не было. Разброс времени большой: S3 и генератор нагрузки работают на одном компьютере.
|
||||
Ограничение измерения: `memory.peak` контейнера выше RSS на PNG-уровнях, в него входит кэш страниц временных файлов, который система освобождает. OOM не было ни у S3, ни у реплик, перезапусков тоже. Разброс времени велик: S3 и генератор нагрузки работают на одном компьютере.
|
||||
|
||||
### Что эксперимент нашёл по дороге
|
||||
|
||||
@@ -214,7 +242,7 @@ Bucket приватный: в конфигурации сервера нет а
|
||||
|
||||
### Сбой между S3 и БД
|
||||
|
||||
Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: 6 файлов подтверждено (3 из них до сбоя), 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой.
|
||||
Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: подтверждено 3 файла, 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой.
|
||||
|
||||
### Остальные отказы
|
||||
|
||||
@@ -222,9 +250,11 @@ Bucket приватный: в конфигурации сервера нет а
|
||||
|
||||
| Воздействие | Реплика | Длительность, с | Успешных | RPS | Ошибок | Исключена LB через, с | Пауза записи, с | Потери / дубли |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| `docker stop` | 1 | 17,89 | 10 761 | 602 | 0 | 0,90 | 1,03 | 0 / 0 |
|
||||
| `docker stop` | 2 | 19,96 | 11 872 | 595 | 0 | 1,51 | 1,02 | 0 / 0 |
|
||||
| rolling update, 15,5 с | обе | 25,51 | 17 974 | 705 | 0 | — | 1,00 | 0 / 0 |
|
||||
| `docker stop` | 1 | 18,19 | 8 333 | 458 | 0 | 1,63 | 1,00 | 0 / 0 |
|
||||
| `docker stop` | 2 | 19,85 | 9 258 | 466 | 1 (502) | 0,78 | 1,02 | 0 / 0 |
|
||||
| rolling update, 14,8 с | обе | 24,77 | 13 125 | 530 | 0 | — | 1,00 | 0 / 0 |
|
||||
|
||||
Единственная ошибка 502 закрыта повтором клиента с тем же ключом, как и в lab3.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -234,19 +264,20 @@ Bucket приватный: в конфигурации сервера нет а
|
||||
| `kill postgres` при загрузках | неподтверждённое убрано, подтверждённое цело | см. выше | очистка при следующем проходе после grace period |
|
||||
| обрыв 4 загрузок клиентом | ничего не остаётся | S3 и `attachments` не изменились | — |
|
||||
|
||||
Индекс истории (`make explain`, 101 045 сообщений, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же:
|
||||
Индекс истории (`make explain`, 91 163 сообщения, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же:
|
||||
|
||||
| Запрос | Буферов | Время |
|
||||
| --- | --- | --- |
|
||||
| первая страница | 63 | 0,255 мс |
|
||||
| страница после 5000-го сообщения, keyset | 59 | 0,232 мс |
|
||||
| та же страница через OFFSET | 5552 | 5,152 мс |
|
||||
| keyset без индекса | 1454 | 3,202 мс |
|
||||
| первая страница | 64 | 0,286 мс |
|
||||
| страница после 5000-го сообщения, keyset | 59 | 0,291 мс |
|
||||
| та же страница через OFFSET | 5551 | 6,266 мс |
|
||||
| keyset без индекса | 1322 | 3,455 мс |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Не выдерживается** отказ `lb`, `postgres`, `redis`, `s3` или хоста: всё в одном экземпляре на одном Docker-хосте. У S3 один том без репликации, потеря `s3data` означает потерю файлов. Резервных копий нет.
|
||||
- JPEG проверяется по структуре: порча внутри сжатых данных не обнаруживается, для этого нужно декодирование. У PNG содержимое проверяется полностью.
|
||||
- JPEG с мусором внутри сжатых данных принимается, если настоящий декодер читает его как изображение: libjpeg считает это шумом, а не ошибкой. У PNG проверяются все данные, но смысл пикселей тоже не оценивается.
|
||||
- Декодирование одного тяжёлого JPEG занимает до 330 МБ на реплику, поэтому лимит реплики 512 МБ. Они идут по одному, очередь создаёт задержку при массовой загрузке прогрессивных файлов.
|
||||
- Ключ API может удалять объекты (ограничение прав SeaweedFS).
|
||||
- Вложение `ready`, не прикреплённое ни к одному сообщению, хранится бессрочно: контракт разрешает прикрепить его позже, а механизма удаления в API нет.
|
||||
- Сверка находит лишние объекты, но не обратный случай: строка `ready`, а объект потерян. Такое скачивание даст 503, автоматического обнаружения нет.
|
||||
|
||||
+2
-1
@@ -90,7 +90,8 @@ services:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 256M
|
||||
# 120 МБ сам процесс и до 320 МБ на декодирование прогрессивного JPEG на 40 млн пикселей
|
||||
memory: 512M
|
||||
restart: unless-stopped
|
||||
|
||||
# миграции выполняет один контейнер до старта реплик, а не каждая реплика
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
# Запуск из чистого clone на пустых volumes, публичный smoke
|
||||
# дата: 2026-10-30T19:58Z, чистый clone
|
||||
# дата: 2026-10-31T00:55Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make env
|
||||
@@ -9,14 +9,14 @@ $ make env
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
$ docker compose --env-file .env up -d --build
|
||||
Image mtusi-messenger:lab4 Built
|
||||
Image mtusi-messenger-lb:lab4 Built
|
||||
Image mtusi-messenger-s3:lab4 Built
|
||||
Image mtusi-messenger:lab4 Built
|
||||
Image mtusi-messenger:lab4 Built
|
||||
Image mtusi-messenger:lab4 Built
|
||||
Image mtusi-messenger-lb:lab4 Built
|
||||
Network mtusi-messenger-lab4_storage Created
|
||||
Image mtusi-messenger:lab4 Built
|
||||
Network mtusi-messenger-lab4_data Created
|
||||
Network mtusi-messenger-lab4_storage Created
|
||||
Network mtusi-messenger-lab4_edge Created
|
||||
Volume mtusi-messenger-lab4_redisdata Created
|
||||
Volume mtusi-messenger-lab4_s3data Created
|
||||
@@ -30,13 +30,13 @@ $ docker compose --env-file .env up -d --build
|
||||
Container mtusi-messenger-lab4-janitor-1 Created
|
||||
Container mtusi-messenger-lab4-api-2 Created
|
||||
Container mtusi-messenger-lab4-lb-1 Created
|
||||
Container mtusi-messenger-lab4-postgres-1 Started
|
||||
Container mtusi-messenger-lab4-redis-1 Started
|
||||
Container mtusi-messenger-lab4-s3-1 Started
|
||||
Container mtusi-messenger-lab4-postgres-1 Healthy
|
||||
Container mtusi-messenger-lab4-postgres-1 Started
|
||||
Container mtusi-messenger-lab4-s3-1 Healthy
|
||||
Container mtusi-messenger-lab4-migrate-1 Started
|
||||
Container mtusi-messenger-lab4-postgres-1 Healthy
|
||||
Container mtusi-messenger-lab4-s3-init-1 Started
|
||||
Container mtusi-messenger-lab4-migrate-1 Started
|
||||
Container mtusi-messenger-lab4-redis-1 Healthy
|
||||
Container mtusi-messenger-lab4-migrate-1 Exited
|
||||
Container mtusi-messenger-lab4-migrate-1 Exited
|
||||
@@ -60,16 +60,16 @@ migrate mtusi-messenger:lab4 exited Exited (0) 16 seconds ago
|
||||
postgres postgres:17.11-alpine running Up 22 seconds (healthy) 5432/tcp
|
||||
redis redis:7.4.11-alpine running Up 22 seconds (healthy) 6379/tcp
|
||||
s3 mtusi-messenger-s3:lab4 running Up 22 seconds (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
s3-init mtusi-messenger:lab4 exited Exited (0) 5 seconds ago
|
||||
s3-init mtusi-messenger:lab4 exited Exited (0) 4 seconds ago
|
||||
|
||||
$ docker compose --env-file .env logs migrate s3-init
|
||||
migrate-1 | применена: 0001_init.sql
|
||||
migrate-1 | применена: 0002_idempotency.sql
|
||||
migrate-1 | применена: 0003_attachments.sql
|
||||
s3-init-1 | bucket создан: messenger-attachments
|
||||
s3-init-1 | S3 ещё не готов: ReadTimeoutError
|
||||
s3-init-1 | bucket уже есть: messenger-attachments
|
||||
s3-init-1 | пробная запись прошла
|
||||
migrate-1 | применена: 0001_init.sql
|
||||
migrate-1 | применена: 0002_idempotency.sql
|
||||
migrate-1 | применена: 0003_attachments.sql
|
||||
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
|
||||
@@ -1,8 +1,9 @@
|
||||
# Сценарий защиты: файл, сообщение, второй участник, посторонний, прямой доступ к S3
|
||||
# дата: 2026-10-30T19:58Z, чистый clone
|
||||
# дата: 2026-10-31T00:55Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ python3 scripts/attachment_demo.py
|
||||
$ make attachment-demo
|
||||
python3 scripts/attachment_demo.py
|
||||
загрузка: ready 111817 байт, sha256 99ea7533c441f79c
|
||||
сообщение: 201 attachment_ids = 1
|
||||
второй участник скачал: 200 image/png sha256 совпал: True
|
||||
|
||||
@@ -0,0 +1,67 @@
|
||||
# Разбор изображений и сверка с Pillow внутри образа API
|
||||
# дата: 2026-10-31T00:56Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make test-images
|
||||
COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \
|
||||
docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
|
||||
test_cut_files (test_against_pillow.AgreementTest.test_cut_files) ... /usr/local/lib/python3.13/site-packages/PIL/TiffImagePlugin.py:982: UserWarning: Corrupt EXIF data. Expecting to read 4 bytes but only got 0.
|
||||
warnings.warn(str(msg))
|
||||
обрезка: принято 370, отвергнуто 2110, принято вопреки Pillow 0
|
||||
ok
|
||||
test_jpeg_with_headers_rebuilt (test_against_pillow.AgreementTest.test_jpeg_with_headers_rebuilt) ... JPEG с настоящими заголовками: принято 792, отвергнуто 8, принято вопреки Pillow 0
|
||||
ok
|
||||
test_png_chunks_shuffled (test_against_pillow.AgreementTest.test_png_chunks_shuffled) ... порядок блоков PNG: принято 0, отвергнуто 600, принято вопреки Pillow 0
|
||||
ok
|
||||
test_png_with_recomputed_crc (test_against_pillow.AgreementTest.test_png_with_recomputed_crc)
|
||||
Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании. ... ok
|
||||
test_random_bytes_changed (test_against_pillow.AgreementTest.test_random_bytes_changed) ... PNG с верными CRC: принято 1354, отвергнуто 146, принято вопреки Pillow 0
|
||||
ok
|
||||
test_every_valid_file_is_accepted (test_against_pillow.ValidFilesTest.test_every_valid_file_is_accepted) ... замена байтов: принято 2218, отвергнуто 3982, принято вопреки Pillow 0
|
||||
ok
|
||||
test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok
|
||||
test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok
|
||||
test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok
|
||||
test_png_data_after_compressed_stream_in_zero_size (test_images.BrokenImagesTest.test_png_data_after_compressed_stream_in_zero_size) ... ok
|
||||
test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok
|
||||
test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok
|
||||
test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok
|
||||
test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok
|
||||
test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok
|
||||
test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok
|
||||
test_big_frame_with_tiny_scan (test_images.JpegContentTest.test_big_frame_with_tiny_scan) ... ok
|
||||
test_broken_frame_header (test_images.JpegContentTest.test_broken_frame_header) ... ok
|
||||
test_scan_replaced_by_almost_nothing (test_images.JpegContentTest.test_scan_replaced_by_almost_nothing) ... ok
|
||||
test_too_many_scans (test_images.JpegContentTest.test_too_many_scans) ... ok
|
||||
test_truncated_with_end_marker_added (test_images.JpegContentTest.test_truncated_with_end_marker_added) ... ok
|
||||
test_without_huffman_tables_like_mjpeg (test_images.JpegContentTest.test_without_huffman_tables_like_mjpeg) ... ok
|
||||
test_without_quantization_tables (test_images.JpegContentTest.test_without_quantization_tables) ... ok
|
||||
test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok
|
||||
test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok
|
||||
test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok
|
||||
test_all_valid_filters (test_images.PngContentTest.test_all_valid_filters) ... ok
|
||||
test_bad_filter_in_any_row (test_images.PngContentTest.test_bad_filter_in_any_row) ... ok
|
||||
test_chunk_order (test_images.PngContentTest.test_chunk_order) ... ok
|
||||
test_filter_check_crosses_inflate_blocks (test_images.PngContentTest.test_filter_check_crosses_inflate_blocks) ... ok
|
||||
test_garbage_after_compressed_data (test_images.PngContentTest.test_garbage_after_compressed_data) ... ok
|
||||
test_interlaced (test_images.PngContentTest.test_interlaced) ... ok
|
||||
test_many_short_rows_are_checked_quickly (test_images.PngContentTest.test_many_short_rows_are_checked_quickly) ... ok
|
||||
test_palette_rules (test_images.PngContentTest.test_palette_rules) ... ok
|
||||
test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok
|
||||
test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok
|
||||
test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok
|
||||
test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok
|
||||
test_jpeg_without_image_data (test_images.ReviewCasesTest.test_jpeg_without_image_data) ... ok
|
||||
test_png_with_invalid_filter_byte (test_images.ReviewCasesTest.test_png_with_invalid_filter_byte) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 40 tests in 0.952s
|
||||
|
||||
OK
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
# Собственные тесты API и разбора изображений
|
||||
# дата: 2026-10-30T19:58Z, чистый clone
|
||||
# Собственные тесты API и вложений
|
||||
# дата: 2026-10-31T00:55Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make student-test
|
||||
@@ -26,6 +26,7 @@ test_outsider_looks_the_same_as_missing (test_attachments.AccessTest.test_outsid
|
||||
test_variants (test_attachments.AccessTest.test_variants) ... ok
|
||||
test_broken_images (test_attachments.ContentCheckTest.test_broken_images) ... ok
|
||||
test_extension_is_not_trusted (test_attachments.ContentCheckTest.test_extension_is_not_trusted) ... ok
|
||||
test_files_from_review (test_attachments.ContentCheckTest.test_files_from_review) ... ok
|
||||
test_mime_spoofing (test_attachments.ContentCheckTest.test_mime_spoofing) ... ok
|
||||
test_unsupported_content_type (test_attachments.ContentCheckTest.test_unsupported_content_type) ... ok
|
||||
test_bad_filenames (test_attachments.FilenameTest.test_bad_filenames) ... ok
|
||||
@@ -94,22 +95,6 @@ test_parallel_repeat_through_different_replicas (test_idempotency.IdempotencyTes
|
||||
test_repeat_checks_access_again (test_idempotency.IdempotencyTest.test_repeat_checks_access_again) ... ok
|
||||
test_repeat_returns_same_message (test_idempotency.IdempotencyTest.test_repeat_returns_same_message) ... ok
|
||||
test_same_key_for_other_user_and_other_chat (test_idempotency.IdempotencyTest.test_same_key_for_other_user_and_other_chat) ... ok
|
||||
test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok
|
||||
test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok
|
||||
test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok
|
||||
test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok
|
||||
test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok
|
||||
test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok
|
||||
test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok
|
||||
test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok
|
||||
test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok
|
||||
test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok
|
||||
test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok
|
||||
test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok
|
||||
test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok
|
||||
test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok
|
||||
test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok
|
||||
test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok
|
||||
test_chat_cursor_belongs_to_user (test_pagination.ChatPaginationTest.test_chat_cursor_belongs_to_user) ... ok
|
||||
test_walk_chat_list (test_pagination.ChatPaginationTest.test_walk_chat_list) ... ok
|
||||
test_bad_cursor (test_pagination.MessagePaginationTest.test_bad_cursor) ... ok
|
||||
@@ -148,7 +133,7 @@ test_password_is_never_returned (test_validation.UserValidationTest.test_passwor
|
||||
test_password_length_limits (test_validation.UserValidationTest.test_password_length_limits) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 142 tests in 7.240s
|
||||
Ran 127 tests in 7.860s
|
||||
|
||||
OK
|
||||
|
||||
|
||||
+19
-19
@@ -1,15 +1,15 @@
|
||||
# Сохранность: перезапуск всего стенда с сохранением volumes, включая оригинал файла
|
||||
# дата: 2026-10-30T19:58Z, чистый clone
|
||||
# дата: 2026-10-31T00:56Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
# до перезапуска
|
||||
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:29.088370587Z
|
||||
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:29.209140045Z
|
||||
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:29.085001378Z
|
||||
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:29.300703295Z
|
||||
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:11.349641968Z
|
||||
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:11.345301093Z
|
||||
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:11.372245384Z
|
||||
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:55:51.019629833Z
|
||||
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:55:51.155422333Z
|
||||
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:55:51.019948375Z
|
||||
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:55:51.246447042Z
|
||||
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:55:33.238815464Z
|
||||
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:55:33.238242006Z
|
||||
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:55:33.268518673Z
|
||||
|
||||
$ cat scripts/restart.sh
|
||||
#!/bin/sh
|
||||
@@ -33,13 +33,13 @@ Executing explicit persistence hook; hook output suppressed to avoid leaking sec
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# после перезапуска: новое время старта у всех контейнеров
|
||||
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:43.982991844Z
|
||||
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:44.040335636Z
|
||||
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:43.669196927Z
|
||||
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:43.367738094Z
|
||||
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:43.452856427Z
|
||||
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:43.413552302Z
|
||||
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:44.201471136Z
|
||||
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:56:08.283900967Z
|
||||
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:56:08.204635217Z
|
||||
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:56:08.100580008Z
|
||||
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:56:07.638958341Z
|
||||
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:56:07.709906466Z
|
||||
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:56:07.679625675Z
|
||||
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:56:08.466819675Z
|
||||
|
||||
$ docker volume ls --filter name=mtusi-messenger-lab4
|
||||
DRIVER VOLUME NAME
|
||||
@@ -49,15 +49,15 @@ local mtusi-messenger-lab4_s3data
|
||||
|
||||
# повторный запуск миграций и создания bucket
|
||||
$ docker compose --env-file .env run --rm --no-deps migrate
|
||||
Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Creating
|
||||
Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Created
|
||||
Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Creating
|
||||
Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Created
|
||||
уже применена: 0001_init.sql
|
||||
уже применена: 0002_idempotency.sql
|
||||
уже применена: 0003_attachments.sql
|
||||
|
||||
$ docker compose --env-file .env run --rm --no-deps s3-init
|
||||
Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Creating
|
||||
Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Created
|
||||
Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Creating
|
||||
Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Created
|
||||
bucket уже есть: messenger-attachments
|
||||
пробная запись прошла
|
||||
|
||||
|
||||
@@ -1,88 +1,88 @@
|
||||
# Публичный failover: файл загружен, обслужившая реплика остановлена, скачивание через другую; два прогона
|
||||
# дата: 2026-10-30T19:59Z, чистый clone
|
||||
# дата: 2026-10-31T00:56Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
## прогон 1
|
||||
# реплики до отказа
|
||||
NAME STATE STATUS
|
||||
mtusi-messenger-lab4-api-1 running Up 36 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-2 running Up 36 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-1 running Up 38 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-2 running Up 38 seconds (healthy)
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.97}
|
||||
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 2.065}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# какой контейнер реально остановлен
|
||||
NAME STATE STATUS
|
||||
mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago
|
||||
mtusi-messenger-lab4-api-2 running Up 52 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-1 running Up 53 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago
|
||||
|
||||
$ make restore
|
||||
docker compose --env-file .env up -d --no-recreate --no-build api
|
||||
Container mtusi-messenger-lab4-postgres-1 Running
|
||||
Container mtusi-messenger-lab4-redis-1 Running
|
||||
Container mtusi-messenger-lab4-s3-1 Running
|
||||
Container mtusi-messenger-lab4-api-2 Running
|
||||
Container mtusi-messenger-lab4-postgres-1 Running
|
||||
Container mtusi-messenger-lab4-api-1 Running
|
||||
Container mtusi-messenger-lab4-postgres-1 Waiting
|
||||
Container mtusi-messenger-lab4-s3-1 Waiting
|
||||
Container mtusi-messenger-lab4-s3-1 Healthy
|
||||
Container mtusi-messenger-lab4-postgres-1 Healthy
|
||||
Container mtusi-messenger-lab4-migrate-1 Starting
|
||||
Container mtusi-messenger-lab4-s3-init-1 Starting
|
||||
Container mtusi-messenger-lab4-migrate-1 Started
|
||||
Container mtusi-messenger-lab4-s3-init-1 Started
|
||||
Container mtusi-messenger-lab4-migrate-1 Waiting
|
||||
Container mtusi-messenger-lab4-migrate-1 Started
|
||||
Container mtusi-messenger-lab4-redis-1 Waiting
|
||||
Container mtusi-messenger-lab4-s3-init-1 Waiting
|
||||
Container mtusi-messenger-lab4-migrate-1 Waiting
|
||||
Container mtusi-messenger-lab4-redis-1 Healthy
|
||||
Container mtusi-messenger-lab4-s3-init-1 Exited
|
||||
Container mtusi-messenger-lab4-migrate-1 Exited
|
||||
Container mtusi-messenger-lab4-api-1 Starting
|
||||
Container mtusi-messenger-lab4-api-1 Started
|
||||
Container mtusi-messenger-lab4-s3-init-1 Exited
|
||||
Container mtusi-messenger-lab4-api-2 Starting
|
||||
Container mtusi-messenger-lab4-api-2 Started
|
||||
BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh
|
||||
готов: http://localhost:8080
|
||||
|
||||
## прогон 2
|
||||
# реплики до отказа
|
||||
NAME STATE STATUS
|
||||
mtusi-messenger-lab4-api-1 running Up 4 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-2 running Up 58 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-1 running Up 59 seconds (healthy)
|
||||
mtusi-messenger-lab4-api-2 running Up 4 seconds (healthy)
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.731}
|
||||
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 1.691}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# какой контейнер реально остановлен
|
||||
NAME STATE STATUS
|
||||
mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago
|
||||
mtusi-messenger-lab4-api-2 running Up About a minute (healthy)
|
||||
mtusi-messenger-lab4-api-1 running Up About a minute (healthy)
|
||||
mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago
|
||||
|
||||
$ make restore
|
||||
docker compose --env-file .env up -d --no-recreate --no-build api
|
||||
Container mtusi-messenger-lab4-s3-1 Running
|
||||
Container mtusi-messenger-lab4-postgres-1 Running
|
||||
Container mtusi-messenger-lab4-redis-1 Running
|
||||
Container mtusi-messenger-lab4-api-2 Running
|
||||
Container mtusi-messenger-lab4-postgres-1 Waiting
|
||||
Container mtusi-messenger-lab4-postgres-1 Running
|
||||
Container mtusi-messenger-lab4-api-1 Running
|
||||
Container mtusi-messenger-lab4-s3-1 Waiting
|
||||
Container mtusi-messenger-lab4-s3-1 Healthy
|
||||
Container mtusi-messenger-lab4-postgres-1 Waiting
|
||||
Container mtusi-messenger-lab4-postgres-1 Healthy
|
||||
Container mtusi-messenger-lab4-s3-1 Healthy
|
||||
Container mtusi-messenger-lab4-migrate-1 Starting
|
||||
Container mtusi-messenger-lab4-s3-init-1 Starting
|
||||
Container mtusi-messenger-lab4-s3-init-1 Started
|
||||
Container mtusi-messenger-lab4-migrate-1 Started
|
||||
Container mtusi-messenger-lab4-s3-init-1 Started
|
||||
Container mtusi-messenger-lab4-migrate-1 Waiting
|
||||
Container mtusi-messenger-lab4-redis-1 Waiting
|
||||
Container mtusi-messenger-lab4-s3-init-1 Waiting
|
||||
Container mtusi-messenger-lab4-migrate-1 Waiting
|
||||
Container mtusi-messenger-lab4-redis-1 Healthy
|
||||
Container mtusi-messenger-lab4-migrate-1 Exited
|
||||
Container mtusi-messenger-lab4-s3-init-1 Exited
|
||||
Container mtusi-messenger-lab4-api-1 Starting
|
||||
Container mtusi-messenger-lab4-api-1 Started
|
||||
Container mtusi-messenger-lab4-migrate-1 Exited
|
||||
Container mtusi-messenger-lab4-api-2 Starting
|
||||
Container mtusi-messenger-lab4-api-2 Started
|
||||
BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh
|
||||
готов: http://localhost:8080
|
||||
|
||||
|
||||
@@ -1,10 +1,10 @@
|
||||
# Остановка каждой реплики под нагрузкой (SIGTERM), полные данные в failover-each.json
|
||||
# дата: 2026-10-30T20:00Z, чистый clone
|
||||
# дата: 2026-10-31T00:57Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make failover-each
|
||||
BASE_URL="http://localhost:8080" python3 scripts/chaos.py stop --output evidence/failover-each.json
|
||||
{"seconds": 17.89, "successful_requests": 10761, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 601.6, "longest_gap_between_successes_s": 1.027, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": 12.886, "instances_seen": 2, "target": "b4e0f5de7608", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 0.9, "verify": {"confirmed": 10761, "in_history": 10761, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
{"seconds": 19.96, "successful_requests": 11872, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 594.9, "longest_gap_between_successes_s": 1.015, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 14.955, "instances_seen": 2, "target": "6f14dc16ebf3", "signal": "SIGTERM", "stop_command_s": 0.61, "excluded_by_lb_after_s": 1.51, "verify": {"confirmed": 11872, "in_history": 11872, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
{"seconds": 18.19, "successful_requests": 8333, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 458.1, "longest_gap_between_successes_s": 0.997, "first_success_after_action_s": 0.004, "last_success_on_target_after_action_s": 13.188, "instances_seen": 2, "target": "e0ce1c223b49", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 1.63, "verify": {"confirmed": 8333, "in_history": 8333, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
{"seconds": 19.85, "successful_requests": 9258, "failed_attempts": 1, "failed_statuses": [502], "successful_rps": 466.3, "longest_gap_between_successes_s": 1.016, "first_success_after_action_s": 0.005, "last_success_on_target_after_action_s": 14.853, "instances_seen": 2, "target": "6e7001b3af3a", "signal": "SIGTERM", "stop_command_s": 0.66, "excluded_by_lb_after_s": 0.78, "verify": {"confirmed": 9258, "in_history": 9258, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
PASS: подтверждённые сообщения на месте, дублей нет
|
||||
|
||||
|
||||
@@ -1,16 +1,16 @@
|
||||
# Поочерёдная замена реплик под нагрузкой, полные данные в rolling-update.json
|
||||
# дата: 2026-10-30T20:00Z, чистый clone
|
||||
# дата: 2026-10-31T00:58Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
# образы до замены
|
||||
/mtusi-messenger-lab4-api-1 sha256:693fe62509aa4bc5ff409c715e21da0f894
|
||||
/mtusi-messenger-lab4-api-2 sha256:693fe62509aa4bc5ff409c715e21da0f894
|
||||
/mtusi-messenger-lab4-api-1 sha256:53d2e279c4c191e566b6dd52082c532a7a4
|
||||
/mtusi-messenger-lab4-api-2 sha256:53d2e279c4c191e566b6dd52082c532a7a4
|
||||
|
||||
$ make rolling-update APP_VERSION=2
|
||||
BASE_URL="http://localhost:8080" python3 scripts/chaos.py rolling --output evidence/rolling-update.json
|
||||
{"seconds": 25.51, "successful_requests": 17974, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 704.5, "longest_gap_between_successes_s": 1.001, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 15.51, "containers_before": {"b4e0f5de7608": "sha256:693fe62509aa", "6f14dc16ebf3": "sha256:693fe62509aa"}, "containers_after": {"abc646dd09cf": "sha256:bdbd0270135d", "d7f52b7d6c23": "sha256:bdbd0270135d"}, "app_version": "2", "verify": {"confirmed": 17974, "in_history": 17974, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
{"seconds": 24.77, "successful_requests": 13125, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 529.8, "longest_gap_between_successes_s": 0.995, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 14.77, "containers_before": {"e0ce1c223b49": "sha256:53d2e279c4c1", "6e7001b3af3a": "sha256:53d2e279c4c1"}, "containers_after": {"504924bd9076": "sha256:e71bfdb1c725", "ec77c0e85d5c": "sha256:e71bfdb1c725"}, "app_version": "2", "verify": {"confirmed": 13125, "in_history": 13125, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
|
||||
PASS: подтверждённые сообщения на месте, дублей нет
|
||||
|
||||
# образы и версия после замены
|
||||
/mtusi-messenger-lab4-api-3 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2
|
||||
/mtusi-messenger-lab4-api-4 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2
|
||||
/mtusi-messenger-lab4-api-3 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2
|
||||
/mtusi-messenger-lab4-api-4 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
# Тесты отказов: сбой между S3 и БД, отказ S3, приватность bucket, истечение, отказ Redis и PostgreSQL, транзакции
|
||||
# дата: 2026-10-30T20:01Z, чистый clone
|
||||
# дата: 2026-10-31T00:58Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make test-failures
|
||||
@@ -35,9 +35,9 @@ test_username_race_creates_one_row (test_transactions.TransactionTest.test_usern
|
||||
test_valid_chat_is_committed_whole (test_transactions.TransactionTest.test_valid_chat_is_committed_whole) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 27 tests in 301.600s
|
||||
Ran 27 tests in 310.107s
|
||||
|
||||
OK
|
||||
|
||||
подтверждено 6, в S3 без подтверждения 8, после очистки расхождений нет
|
||||
подтверждено 3, в S3 без подтверждения 8, после очистки расхождений нет
|
||||
|
||||
|
||||
@@ -1,41 +1,46 @@
|
||||
# Память при одновременных загрузках, полные данные в upload-peak.json
|
||||
# дата: 2026-10-30T20:06Z, чистый clone
|
||||
# Память при одновременных загрузках, полные данные последнего прогона в upload-peak.json
|
||||
# дата: 2026-10-31T01:03Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
# пять прогонов подряд: один удачный ничего не доказывает
|
||||
$ make upload-peak
|
||||
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
|
||||
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 116.9, "cgroup_peak_mib": 98.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.3}}}
|
||||
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.29, "slowest_upload_s": 1.29, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 123.8, "cgroup_peak_mib": 160.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 160.2}}}
|
||||
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.79, "slowest_upload_s": 3.78, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 258.8}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.53, "slowest_upload_s": 1.53, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 125.7, "cgroup_peak_mib": 165.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.8, "cgroup_peak_mib": 156.3}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.65, "slowest_upload_s": 6.64, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.6, "cgroup_peak_mib": 269.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.5, "cgroup_peak_mib": 270.6}}}
|
||||
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.47, "slowest_upload_s": 1.47, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 439.9, "cgroup_peak_mib": 431.0}}}
|
||||
PASS: все загрузки успешны
|
||||
|
||||
$ make upload-peak
|
||||
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
|
||||
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.76, "slowest_upload_s": 1.76, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.3, "cgroup_peak_mib": 110.6}}}
|
||||
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.32, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.0, "cgroup_peak_mib": 161.9}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 158.7}}}
|
||||
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.88, "slowest_upload_s": 3.87, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.2, "cgroup_peak_mib": 256.4}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.8, "cgroup_peak_mib": 256.5}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 98.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 109.0}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.49, "slowest_upload_s": 1.49, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 168.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 168.8}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.89, "slowest_upload_s": 4.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.6}}}
|
||||
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.42, "slowest_upload_s": 1.42, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 435.1, "cgroup_peak_mib": 426.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 435.3, "cgroup_peak_mib": 427.2}}}
|
||||
PASS: все загрузки успешны
|
||||
|
||||
$ make upload-peak
|
||||
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
|
||||
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.83, "slowest_upload_s": 1.83, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 99.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.6}}}
|
||||
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.34, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.2, "cgroup_peak_mib": 176.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 168.9}}}
|
||||
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.48, "slowest_upload_s": 4.48, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.0, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 256.5}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.17, "slowest_upload_s": 0.17, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 110.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.6, "slowest_upload_s": 1.6, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 161.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 163.2}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.01, "slowest_upload_s": 7.0, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 129.6, "cgroup_peak_mib": 272.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.0, "cgroup_peak_mib": 273.6}}}
|
||||
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.35, "slowest_upload_s": 1.35, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.4, "cgroup_peak_mib": 429.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.9, "cgroup_peak_mib": 430.5}}}
|
||||
PASS: все загрузки успешны
|
||||
|
||||
$ make upload-peak
|
||||
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
|
||||
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.8}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 98.4}}}
|
||||
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.92, "slowest_upload_s": 2.92, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.6, "cgroup_peak_mib": 175.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.4, "cgroup_peak_mib": 163.7}}}
|
||||
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.3, "slowest_upload_s": 6.29, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 129.2, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 256.1}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.15, "slowest_upload_s": 0.15, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 119.4, "cgroup_peak_mib": 112.6}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.33, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 160.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 161.4}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.19, "slowest_upload_s": 7.18, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 266.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.7, "cgroup_peak_mib": 267.5}}}
|
||||
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.31, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.9, "cgroup_peak_mib": 429.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.1}}}
|
||||
PASS: все загрузки успешны
|
||||
|
||||
$ make upload-peak
|
||||
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
|
||||
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.48, "slowest_upload_s": 0.48, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.5, "cgroup_peak_mib": 110.2}}}
|
||||
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 3.87, "slowest_upload_s": 3.87, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 163.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.1, "cgroup_peak_mib": 164.1}}}
|
||||
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.43, "slowest_upload_s": 6.42, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 127.3, "cgroup_peak_mib": 256.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.9, "cgroup_peak_mib": 256.0}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 116.6, "cgroup_peak_mib": 110.2}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.1, "slowest_upload_s": 2.09, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 166.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.5, "cgroup_peak_mib": 160.5}}}
|
||||
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 5.88, "slowest_upload_s": 5.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 274.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 128.3, "cgroup_peak_mib": 273.9}}}
|
||||
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.45, "slowest_upload_s": 1.44, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.6, "cgroup_peak_mib": 433.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 437.3, "cgroup_peak_mib": 433.0}}}
|
||||
PASS: все загрузки успешны
|
||||
|
||||
# S3 за все прогоны: перезапуски и OOM
|
||||
@@ -43,3 +48,8 @@ restarts=0 oom=false
|
||||
oom 0
|
||||
oom_kill 0
|
||||
oom_group_kill 0
|
||||
# реплики API за все прогоны: OOM
|
||||
restarts=0 oom=false
|
||||
oom_kill 0
|
||||
restarts=0 oom=false
|
||||
oom_kill 0
|
||||
|
||||
+13
-12
@@ -1,5 +1,5 @@
|
||||
# Контейнеры: лимиты, порты, сети, секреты, права ключа S3
|
||||
# дата: 2026-10-30T20:07Z, чистый clone
|
||||
# дата: 2026-10-31T01:05Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ docker compose ps # опубликован только lb, консоль S3 наружу не открыта
|
||||
@@ -16,8 +16,8 @@ $ grep -c container_name compose.yaml
|
||||
0
|
||||
|
||||
# лимиты CPU (в наносекундах на секунду) и памяти (байт)
|
||||
/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=268435456
|
||||
/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=268435456
|
||||
/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=536870912
|
||||
/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=536870912
|
||||
/mtusi-messenger-lab4-janitor-1 cpus=250000000 memory=134217728
|
||||
/mtusi-messenger-lab4-lb-1 cpus=500000000 memory=134217728
|
||||
/mtusi-messenger-lab4-postgres-1 cpus=1000000000 memory=536870912
|
||||
@@ -32,7 +32,7 @@ s3 mtusi-messenger-lab4_storage
|
||||
postgres mtusi-messenger-lab4_data
|
||||
redis mtusi-messenger-lab4_data
|
||||
|
||||
$ docker exec abc646dd09cf id
|
||||
$ docker exec 504924bd9076 id
|
||||
uid=10001(app) gid=10001(app) groups=10001(app)
|
||||
|
||||
$ docker exec <api> ls /run/secrets # ключа администратора S3 у API нет
|
||||
@@ -41,20 +41,20 @@ database_url
|
||||
s3_access_key_id
|
||||
s3_secret_access_key
|
||||
|
||||
$ docker exec <api> env | grep -ci "password\|postgresql://\|redis://\|secret_access_key="
|
||||
$ docker exec <api> env | grep -ci "password\|postgresql://\|redis://"
|
||||
0
|
||||
|
||||
$ docker compose --env-file .env images
|
||||
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||
mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago
|
||||
mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago
|
||||
mtusi-messenger-lab4-janitor-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
|
||||
mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 30 minutes ago
|
||||
mtusi-messenger-lab4-migrate-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
|
||||
mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago
|
||||
mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago
|
||||
mtusi-messenger-lab4-janitor-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
|
||||
mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 5 hours ago
|
||||
mtusi-messenger-lab4-migrate-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
|
||||
mtusi-messenger-lab4-postgres-1 postgres 17.11-alpine linux/arm64/v8 25a89970a832 291MB 6 weeks ago
|
||||
mtusi-messenger-lab4-redis-1 redis 7.4.11-alpine linux/arm64/v8 ec4f171e9ff0 39.5MB 6 weeks ago
|
||||
mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 31 minutes ago
|
||||
mtusi-messenger-lab4-s3-init-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
|
||||
mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 5 hours ago
|
||||
mtusi-messenger-lab4-s3-init-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
|
||||
|
||||
$ docker exec <api> pip freeze
|
||||
annotated-doc==0.0.5
|
||||
@@ -71,6 +71,7 @@ h11==0.16.0
|
||||
idna==3.20
|
||||
jmespath==1.1.0
|
||||
opentelemetry-api==1.45.1
|
||||
pillow==13.0.0
|
||||
psycopg==3.3.6
|
||||
psycopg-binary==3.3.6
|
||||
psycopg-pool==3.3.3
|
||||
|
||||
@@ -1,12 +1,12 @@
|
||||
# SIGTERM через балансировщик
|
||||
# дата: 2026-10-30T20:07Z, чистый clone
|
||||
# дата: 2026-10-31T01:05Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ python3 scripts/sigterm_check.py
|
||||
$ docker kill --signal=SIGTERM abc646dd09cf
|
||||
$ docker kill --signal=SIGTERM 504924bd9076
|
||||
новых запросов после SIGTERM: 20, попало на останавливаемую реплику: 0
|
||||
начатые до SIGTERM запросы: ['HTTP/1.1 201 Created']
|
||||
из них завершила останавливаемая реплика: 3
|
||||
процесс завершился за 1.73 с, код выхода 0
|
||||
процесс завершился за 1.57 с, код выхода 0
|
||||
PASS: остановка корректная и укладывается в 10 секунд
|
||||
|
||||
|
||||
+35
-35
@@ -1,5 +1,5 @@
|
||||
# Индекс истории: EXPLAIN (ANALYZE, BUFFERS), объём данных в первой таблице вывода
|
||||
# дата: 2026-10-30T20:07Z, чистый clone
|
||||
# дата: 2026-10-31T01:05Z, чистый clone
|
||||
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
|
||||
|
||||
$ make explain
|
||||
@@ -7,22 +7,22 @@ $ make explain
|
||||
== Объём данных
|
||||
messages_total | messages_in_chat | table_size | index_size
|
||||
----------------+------------------+------------+------------
|
||||
101045 | 10000 | 11 MB | 9544 kB
|
||||
91163 | 10000 | 10120 kB | 8968 kB
|
||||
(1 row)
|
||||
|
||||
|
||||
== 1. Первая страница (limit 50, запрос берёт 51 строку)
|
||||
QUERY PLAN
|
||||
------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.42..729.05 rows=51 width=112) (actual time=0.028..0.228 rows=51 loops=1)
|
||||
Buffers: shared hit=63
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.023..0.219 rows=51 loops=1)
|
||||
Limit (cost=0.42..726.39 rows=51 width=112) (actual time=0.031..0.253 rows=51 loops=1)
|
||||
Buffers: shared hit=64
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.031..0.249 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid)
|
||||
Buffers: shared hit=63
|
||||
Buffers: shared hit=64
|
||||
SubPlan 1
|
||||
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51)
|
||||
Buffers: shared hit=54
|
||||
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51)
|
||||
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51)
|
||||
Sort Key: a."position"
|
||||
Sort Method: quicksort Memory: 25kB
|
||||
Buffers: shared hit=54
|
||||
@@ -33,24 +33,24 @@ $ make explain
|
||||
Index Cond: (message_id = messages.id)
|
||||
Buffers: shared hit=51
|
||||
Planning:
|
||||
Buffers: shared hit=76
|
||||
Planning Time: 0.174 ms
|
||||
Execution Time: 0.255 ms
|
||||
Buffers: shared hit=78
|
||||
Planning Time: 0.235 ms
|
||||
Execution Time: 0.286 ms
|
||||
(22 rows)
|
||||
|
||||
|
||||
== 2. Страница из середины истории: keyset после 5000-го сообщения
|
||||
QUERY PLAN
|
||||
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.42..738.40 rows=51 width=112) (actual time=0.013..0.198 rows=51 loops=1)
|
||||
Limit (cost=0.42..735.98 rows=51 width=112) (actual time=0.017..0.251 rows=51 loops=1)
|
||||
Buffers: shared hit=59
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..101986.67 rows=7048 width=112) (actual time=0.013..0.196 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid)))
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..98594.86 rows=6836 width=112) (actual time=0.017..0.248 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid)))
|
||||
Buffers: shared hit=59
|
||||
SubPlan 1
|
||||
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.003..0.003 rows=1 loops=51)
|
||||
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51)
|
||||
Buffers: shared hit=51
|
||||
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51)
|
||||
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51)
|
||||
Sort Key: a."position"
|
||||
Sort Method: quicksort Memory: 25kB
|
||||
Buffers: shared hit=51
|
||||
@@ -60,19 +60,19 @@ $ make explain
|
||||
-> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=51)
|
||||
Index Cond: (message_id = messages.id)
|
||||
Buffers: shared hit=51
|
||||
Planning Time: 0.045 ms
|
||||
Execution Time: 0.232 ms
|
||||
Planning Time: 0.052 ms
|
||||
Execution Time: 0.291 ms
|
||||
(20 rows)
|
||||
|
||||
|
||||
== 3. Та же страница через OFFSET (так делать не стали)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=71434.79..72163.43 rows=51 width=112) (actual time=5.082..5.132 rows=51 loops=1)
|
||||
Buffers: shared hit=5552
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.012..5.035 rows=5051 loops=1)
|
||||
Limit (cost=71174.26..71900.24 rows=51 width=112) (actual time=6.185..6.246 rows=51 loops=1)
|
||||
Buffers: shared hit=5551
|
||||
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.012..6.130 rows=5051 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid)
|
||||
Buffers: shared hit=5552
|
||||
Buffers: shared hit=5551
|
||||
SubPlan 1
|
||||
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=5051)
|
||||
Buffers: shared hit=5051
|
||||
@@ -86,26 +86,26 @@ $ make explain
|
||||
-> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=5051)
|
||||
Index Cond: (message_id = messages.id)
|
||||
Buffers: shared hit=5051
|
||||
Planning Time: 0.032 ms
|
||||
Execution Time: 5.152 ms
|
||||
Planning Time: 0.038 ms
|
||||
Execution Time: 6.266 ms
|
||||
(20 rows)
|
||||
|
||||
|
||||
== 4. Запрос из пункта 2 без индекса messages_chat_history_idx (DROP INDEX внутри транзакции с ROLLBACK)
|
||||
QUERY PLAN
|
||||
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=3400.42..4104.22 rows=51 width=112) (actual time=3.126..3.183 rows=51 loops=1)
|
||||
Buffers: shared hit=1454
|
||||
-> Result (cost=3400.42..100662.45 rows=7048 width=112) (actual time=3.125..3.180 rows=51 loops=1)
|
||||
Buffers: shared hit=1454
|
||||
-> Sort (cost=3400.42..3418.04 rows=7048 width=80) (actual time=3.098..3.100 rows=51 loops=1)
|
||||
Limit (cost=3088.42..3792.21 rows=51 width=112) (actual time=3.362..3.425 rows=51 loops=1)
|
||||
Buffers: shared hit=1322
|
||||
-> Result (cost=3088.42..97424.85 rows=6836 width=112) (actual time=3.362..3.422 rows=51 loops=1)
|
||||
Buffers: shared hit=1322
|
||||
-> Sort (cost=3088.42..3105.51 rows=6836 width=80) (actual time=3.343..3.345 rows=51 loops=1)
|
||||
Sort Key: messages.created_at, messages.id
|
||||
Sort Method: top-N heapsort Memory: 31kB
|
||||
Buffers: shared hit=1403
|
||||
-> Seq Scan on messages (cost=0.00..3165.29 rows=7048 width=80) (actual time=1.800..2.874 rows=5000 loops=1)
|
||||
Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid)))
|
||||
Rows Removed by Filter: 96045
|
||||
Buffers: shared hit=1397
|
||||
Buffers: shared hit=1271
|
||||
-> Seq Scan on messages (cost=0.00..2860.35 rows=6836 width=80) (actual time=1.866..3.076 rows=5000 loops=1)
|
||||
Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid)))
|
||||
Rows Removed by Filter: 86163
|
||||
Buffers: shared hit=1265
|
||||
SubPlan 1
|
||||
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=51)
|
||||
Buffers: shared hit=51
|
||||
@@ -121,8 +121,8 @@ $ make explain
|
||||
Buffers: shared hit=51
|
||||
Planning:
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.050 ms
|
||||
Execution Time: 3.202 ms
|
||||
Planning Time: 0.057 ms
|
||||
Execution Time: 3.455 ms
|
||||
(29 rows)
|
||||
|
||||
|
||||
|
||||
+25
-23
@@ -3,22 +3,22 @@
|
||||
"mode": "stop",
|
||||
"rounds": [
|
||||
{
|
||||
"seconds": 17.89,
|
||||
"successful_requests": 10761,
|
||||
"seconds": 18.19,
|
||||
"successful_requests": 8333,
|
||||
"failed_attempts": 0,
|
||||
"failed_statuses": [],
|
||||
"successful_rps": 601.6,
|
||||
"longest_gap_between_successes_s": 1.027,
|
||||
"first_success_after_action_s": 0.003,
|
||||
"last_success_on_target_after_action_s": 12.886,
|
||||
"successful_rps": 458.1,
|
||||
"longest_gap_between_successes_s": 0.997,
|
||||
"first_success_after_action_s": 0.004,
|
||||
"last_success_on_target_after_action_s": 13.188,
|
||||
"instances_seen": 2,
|
||||
"target": "b4e0f5de7608",
|
||||
"target": "e0ce1c223b49",
|
||||
"signal": "SIGTERM",
|
||||
"stop_command_s": 0.59,
|
||||
"excluded_by_lb_after_s": 0.9,
|
||||
"excluded_by_lb_after_s": 1.63,
|
||||
"verify": {
|
||||
"confirmed": 10761,
|
||||
"in_history": 10761,
|
||||
"confirmed": 8333,
|
||||
"in_history": 8333,
|
||||
"lost_confirmed": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
@@ -26,22 +26,24 @@
|
||||
}
|
||||
},
|
||||
{
|
||||
"seconds": 19.96,
|
||||
"successful_requests": 11872,
|
||||
"failed_attempts": 0,
|
||||
"failed_statuses": [],
|
||||
"successful_rps": 594.9,
|
||||
"longest_gap_between_successes_s": 1.015,
|
||||
"first_success_after_action_s": 0.0,
|
||||
"last_success_on_target_after_action_s": 14.955,
|
||||
"seconds": 19.85,
|
||||
"successful_requests": 9258,
|
||||
"failed_attempts": 1,
|
||||
"failed_statuses": [
|
||||
502
|
||||
],
|
||||
"successful_rps": 466.3,
|
||||
"longest_gap_between_successes_s": 1.016,
|
||||
"first_success_after_action_s": 0.005,
|
||||
"last_success_on_target_after_action_s": 14.853,
|
||||
"instances_seen": 2,
|
||||
"target": "6f14dc16ebf3",
|
||||
"target": "6e7001b3af3a",
|
||||
"signal": "SIGTERM",
|
||||
"stop_command_s": 0.61,
|
||||
"excluded_by_lb_after_s": 1.51,
|
||||
"stop_command_s": 0.66,
|
||||
"excluded_by_lb_after_s": 0.78,
|
||||
"verify": {
|
||||
"confirmed": 11872,
|
||||
"in_history": 11872,
|
||||
"confirmed": 9258,
|
||||
"in_history": 9258,
|
||||
"lost_confirmed": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
|
||||
@@ -3,28 +3,28 @@
|
||||
"mode": "rolling",
|
||||
"rounds": [
|
||||
{
|
||||
"seconds": 25.51,
|
||||
"successful_requests": 17974,
|
||||
"seconds": 24.77,
|
||||
"successful_requests": 13125,
|
||||
"failed_attempts": 0,
|
||||
"failed_statuses": [],
|
||||
"successful_rps": 704.5,
|
||||
"longest_gap_between_successes_s": 1.001,
|
||||
"first_success_after_action_s": 0.003,
|
||||
"successful_rps": 529.8,
|
||||
"longest_gap_between_successes_s": 0.995,
|
||||
"first_success_after_action_s": 0.0,
|
||||
"last_success_on_target_after_action_s": null,
|
||||
"instances_seen": 4,
|
||||
"update_seconds": 15.51,
|
||||
"update_seconds": 14.77,
|
||||
"containers_before": {
|
||||
"b4e0f5de7608": "sha256:693fe62509aa",
|
||||
"6f14dc16ebf3": "sha256:693fe62509aa"
|
||||
"e0ce1c223b49": "sha256:53d2e279c4c1",
|
||||
"6e7001b3af3a": "sha256:53d2e279c4c1"
|
||||
},
|
||||
"containers_after": {
|
||||
"abc646dd09cf": "sha256:bdbd0270135d",
|
||||
"d7f52b7d6c23": "sha256:bdbd0270135d"
|
||||
"504924bd9076": "sha256:e71bfdb1c725",
|
||||
"ec77c0e85d5c": "sha256:e71bfdb1c725"
|
||||
},
|
||||
"app_version": "2",
|
||||
"verify": {
|
||||
"confirmed": 17974,
|
||||
"in_history": 17974,
|
||||
"confirmed": 13125,
|
||||
"in_history": 13125,
|
||||
"lost_confirmed": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
|
||||
+49
-26
@@ -1,74 +1,97 @@
|
||||
{
|
||||
"limit_per_replica_mib": 256,
|
||||
"limit_per_replica_mib": 512,
|
||||
"replicas": 2,
|
||||
"levels": [
|
||||
{
|
||||
"parallel_uploads": 0,
|
||||
"memory": {
|
||||
"abc646dd09cf": {
|
||||
"process_peak_rss_mib": 117.2,
|
||||
"504924bd9076": {
|
||||
"process_peak_rss_mib": 116.8,
|
||||
"cgroup_peak_mib": 110.5
|
||||
},
|
||||
"d7f52b7d6c23": {
|
||||
"process_peak_rss_mib": 117.1,
|
||||
"ec77c0e85d5c": {
|
||||
"process_peak_rss_mib": 116.6,
|
||||
"cgroup_peak_mib": 110.2
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"file": "PNG 10 MiB",
|
||||
"parallel_uploads": 1,
|
||||
"file_bytes": 10481664,
|
||||
"seconds": 0.48,
|
||||
"slowest_upload_s": 0.48,
|
||||
"seconds": 0.14,
|
||||
"slowest_upload_s": 0.14,
|
||||
"statuses": {
|
||||
"201": 1
|
||||
},
|
||||
"memory": {
|
||||
"abc646dd09cf": {
|
||||
"504924bd9076": {
|
||||
"process_peak_rss_mib": 117.2,
|
||||
"cgroup_peak_mib": 110.5
|
||||
},
|
||||
"d7f52b7d6c23": {
|
||||
"process_peak_rss_mib": 117.5,
|
||||
"ec77c0e85d5c": {
|
||||
"process_peak_rss_mib": 116.6,
|
||||
"cgroup_peak_mib": 110.2
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"file": "PNG 10 MiB",
|
||||
"parallel_uploads": 10,
|
||||
"file_bytes": 10481664,
|
||||
"seconds": 3.87,
|
||||
"slowest_upload_s": 3.87,
|
||||
"seconds": 2.1,
|
||||
"slowest_upload_s": 2.09,
|
||||
"statuses": {
|
||||
"201": 10
|
||||
},
|
||||
"memory": {
|
||||
"abc646dd09cf": {
|
||||
"process_peak_rss_mib": 124.3,
|
||||
"cgroup_peak_mib": 163.7
|
||||
"504924bd9076": {
|
||||
"process_peak_rss_mib": 123.7,
|
||||
"cgroup_peak_mib": 166.6
|
||||
},
|
||||
"d7f52b7d6c23": {
|
||||
"process_peak_rss_mib": 124.1,
|
||||
"cgroup_peak_mib": 164.1
|
||||
"ec77c0e85d5c": {
|
||||
"process_peak_rss_mib": 123.5,
|
||||
"cgroup_peak_mib": 160.5
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"file": "PNG 10 MiB",
|
||||
"parallel_uploads": 30,
|
||||
"file_bytes": 10481664,
|
||||
"seconds": 6.43,
|
||||
"slowest_upload_s": 6.42,
|
||||
"seconds": 5.88,
|
||||
"slowest_upload_s": 5.88,
|
||||
"statuses": {
|
||||
"201": 30
|
||||
},
|
||||
"memory": {
|
||||
"abc646dd09cf": {
|
||||
"process_peak_rss_mib": 127.3,
|
||||
"cgroup_peak_mib": 256.0
|
||||
"504924bd9076": {
|
||||
"process_peak_rss_mib": 128.8,
|
||||
"cgroup_peak_mib": 274.4
|
||||
},
|
||||
"d7f52b7d6c23": {
|
||||
"process_peak_rss_mib": 126.9,
|
||||
"cgroup_peak_mib": 256.0
|
||||
"ec77c0e85d5c": {
|
||||
"process_peak_rss_mib": 128.3,
|
||||
"cgroup_peak_mib": 273.9
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"file": "прогрессивный CMYK JPEG, 40 млн пикселей",
|
||||
"parallel_uploads": 10,
|
||||
"file_bytes": 2642657,
|
||||
"seconds": 1.45,
|
||||
"slowest_upload_s": 1.44,
|
||||
"statuses": {
|
||||
"201": 10
|
||||
},
|
||||
"memory": {
|
||||
"504924bd9076": {
|
||||
"process_peak_rss_mib": 437.6,
|
||||
"cgroup_peak_mib": 433.8
|
||||
},
|
||||
"ec77c0e85d5c": {
|
||||
"process_peak_rss_mib": 437.3,
|
||||
"cgroup_peak_mib": 433.0
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
@@ -5,6 +5,7 @@ psycopg[binary,pool]==3.3.6
|
||||
redis==8.1.0
|
||||
argon2-cffi==25.1.0
|
||||
boto3==1.43.122
|
||||
pillow==13.0.0
|
||||
# Транзитивные, зафиксированы по pip freeze в python:3.13.16-slim-bookworm
|
||||
annotated-doc==0.0.5
|
||||
annotated-types==0.8.0
|
||||
|
||||
+28
-5
@@ -1,9 +1,12 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB.
|
||||
"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB и самых тяжёлых JPEG.
|
||||
|
||||
Перед замером реплики перезапускаются, чтобы обнулить VmHWM (пик памяти процесса). Уровни идут по
|
||||
возрастанию, поэтому VmHWM после каждого уровня показывает пик этого уровня. memory.peak контейнера
|
||||
больше: в него входит кэш страниц временных файлов, который система может освободить.
|
||||
|
||||
Последний уровень — прогрессивный CMYK JPEG на 40 млн пикселей: декодер держит коэффициенты всего
|
||||
изображения, это худший случай для памяти. Загрузки идут параллельно, декодирование по одному на реплику.
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
@@ -20,6 +23,13 @@ from api import call, new_chat, new_user
|
||||
from samples import noisy_png
|
||||
|
||||
LEVELS = (1, 10, 30)
|
||||
HEAVY_UPLOADS = 10
|
||||
MAKE_HEAVY_JPEG = """
|
||||
import sys
|
||||
from PIL import Image
|
||||
image = Image.effect_noise((7300 // 16, 5470 // 16), 40).resize((7300, 5470)).convert("CMYK")
|
||||
image.save(sys.stdout.buffer, "JPEG", quality=50, progressive=True)
|
||||
"""
|
||||
|
||||
|
||||
def compose(*args):
|
||||
@@ -53,6 +63,12 @@ def wait_ready():
|
||||
time.sleep(0.2)
|
||||
|
||||
|
||||
def heavy_jpeg():
|
||||
# в отдельном контейнере: создание такого файла требует много памяти, реплику это не должно затрагивать
|
||||
command = ["docker", "run", "--rm", "-i", "--memory=2g", "--entrypoint", "python", "mtusi-messenger:lab4", "-"]
|
||||
return subprocess.run(command, input=MAKE_HEAVY_JPEG.encode(), check=True, capture_output=True).stdout
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||||
parser.add_argument("--output")
|
||||
@@ -64,20 +80,23 @@ def main():
|
||||
chat = new_chat(user)
|
||||
path = "/api/v1/chats/%s/attachments?filename=peak.png" % urllib.parse.quote(chat["id"])
|
||||
levels = [{"parallel_uploads": 0, "memory": memory()}]
|
||||
for level in LEVELS:
|
||||
|
||||
def run_level(level, content, content_type, label):
|
||||
started = time.monotonic()
|
||||
|
||||
def post(_):
|
||||
sent = time.monotonic()
|
||||
status = call("POST", path, raw=data, user=user, headers={"Content-Type": "image/png"}, timeout=60)[0]
|
||||
headers = {"Content-Type": content_type}
|
||||
status = call("POST", path, raw=content, user=user, headers=headers, timeout=60)[0]
|
||||
return status, time.monotonic() - sent
|
||||
|
||||
with ThreadPoolExecutor(max_workers=level) as pool:
|
||||
results = list(pool.map(post, range(level)))
|
||||
statuses = [status for status, _ in results]
|
||||
entry = {
|
||||
"file": label,
|
||||
"parallel_uploads": level,
|
||||
"file_bytes": len(data),
|
||||
"file_bytes": len(content),
|
||||
"seconds": round(time.monotonic() - started, 2),
|
||||
"slowest_upload_s": round(max(took for _, took in results), 2),
|
||||
"statuses": {str(s): statuses.count(s) for s in sorted(set(statuses))},
|
||||
@@ -85,7 +104,11 @@ def main():
|
||||
}
|
||||
print(json.dumps(entry, ensure_ascii=False))
|
||||
levels.append(entry)
|
||||
report = {"limit_per_replica_mib": 256, "replicas": 2, "levels": levels}
|
||||
|
||||
for level in LEVELS:
|
||||
run_level(level, data, "image/png", "PNG 10 MiB")
|
||||
run_level(HEAVY_UPLOADS, heavy_jpeg(), "image/jpeg", "прогрессивный CMYK JPEG, 40 млн пикселей")
|
||||
report = {"limit_per_replica_mib": 512, "replicas": 2, "levels": levels}
|
||||
if args.output:
|
||||
Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
|
||||
if any(set(level.get("statuses", {"201": 1})) != {"201"} for level in levels):
|
||||
|
||||
+147
-52
@@ -1,11 +1,19 @@
|
||||
"""Проверка PNG и JPEG по содержимому. Файл читается блоками, пиксели в память не распаковываются.
|
||||
"""Проверка PNG и JPEG по содержимому, память ограничена.
|
||||
|
||||
Размер изображения берётся из заголовка до любой работы с данными, поэтому decompression bomb
|
||||
отсекается сразу. Данные PNG проверяются потоково: CRC каждого блока и распаковка с выбрасыванием
|
||||
результата. У JPEG проверяется структура маркеров, но не содержимое сжатых данных: порча внутри скана
|
||||
этой проверкой не обнаруживается.
|
||||
отсекается сразу.
|
||||
|
||||
PNG проверяется потоково без декодера: CRC блоков, порядок блоков, распаковка с выбрасыванием
|
||||
результата, байт фильтра в начале каждой строки, точный объём данных. Память не зависит от размера
|
||||
изображения, поэтому Pillow здесь не нужен.
|
||||
|
||||
JPEG так проверить нельзя: чтобы понять, что в скане настоящие данные, их надо декодировать. Поэтому
|
||||
сначала идёт быстрый разбор маркеров, а потом настоящий декодер с уменьшением в 8 раз. Обычный JPEG
|
||||
при этом занимает несколько МБ. Прогрессивный хранит коэффициенты всего изображения, это до 2 байт на
|
||||
отсчёт, то есть до 320 МБ на 40 млн пикселей CMYK, поэтому декодирование идёт по одному на реплику.
|
||||
"""
|
||||
import struct
|
||||
import threading
|
||||
import zlib
|
||||
|
||||
BLOCK = 64 * 1024
|
||||
@@ -15,6 +23,17 @@ JPEG_SIGNATURE = b"\xff\xd8\xff"
|
||||
PNG_COLOR_TYPES = {0: ((1, 2, 4, 8, 16), 1), 2: ((8, 16), 3), 3: ((1, 2, 4, 8), 1), 4: ((8, 16), 2), 6: ((8, 16), 4)}
|
||||
# все маркеры SOF, кроме DHT (C4), JPG (C8) и DAC (CC), которые попадают в тот же диапазон
|
||||
JPEG_SOF = set(range(0xC0, 0xD0)) - {0xC4, 0xC8, 0xCC}
|
||||
# кодирование Хаффмана: минимум 1 бит на блок. У арифметического (C9-CF) нижней границы нет
|
||||
JPEG_HUFFMAN_SOF = {0xC0, 0xC1, 0xC2}
|
||||
# каждый скан заставляет декодер пройти всё изображение, а в 10 MiB их можно уместить тысячи;
|
||||
# настоящим файлам хватает нескольких десятков
|
||||
MAX_JPEG_SCANS = 100
|
||||
PNG_CRITICAL_CHUNKS = {b"IHDR", b"PLTE", b"IDAT", b"IEND"}
|
||||
# проходы Adam7: первая колонка, первая строка, шаг по колонкам, шаг по строкам
|
||||
ADAM7_PASSES = ((0, 0, 8, 8), (4, 0, 8, 8), (0, 4, 4, 8), (2, 0, 4, 4), (0, 2, 2, 4), (1, 0, 2, 2), (0, 1, 1, 2))
|
||||
|
||||
# см. начало файла: не больше одного тяжёлого декодирования на реплику
|
||||
decode_lock = threading.Lock()
|
||||
|
||||
|
||||
class NotAnImage(Exception):
|
||||
@@ -35,7 +54,8 @@ def inspect(file, max_pixels: int) -> str:
|
||||
return "image/png"
|
||||
if head[:3] == JPEG_SIGNATURE:
|
||||
file.seek(2)
|
||||
check_jpeg(file, max_pixels)
|
||||
check_jpeg_structure(file, max_pixels)
|
||||
decode_jpeg(file)
|
||||
return "image/jpeg"
|
||||
except (struct.error, zlib.error, ValueError) as error:
|
||||
raise NotAnImage() from error
|
||||
@@ -49,22 +69,65 @@ def check_size(width: int, height: int, max_pixels: int) -> None:
|
||||
raise TooManyPixels()
|
||||
|
||||
|
||||
def png_raw_size(width: int, height: int, bits_per_pixel: int) -> int:
|
||||
"""Размер распакованных данных без чересстрочности: строки плюс байт фильтра на каждую."""
|
||||
return height * (1 + (width * bits_per_pixel + 7) // 8)
|
||||
def png_passes(width: int, height: int, bits_per_pixel: int, interlaced: bool) -> list:
|
||||
"""Группы строк распакованных данных: (длина строки вместе с байтом фильтра, число строк)."""
|
||||
if not interlaced:
|
||||
return [(1 + (width * bits_per_pixel + 7) // 8, height)]
|
||||
passes = []
|
||||
for column, row, column_step, row_step in ADAM7_PASSES:
|
||||
columns = (width - column + column_step - 1) // column_step
|
||||
rows = (height - row + row_step - 1) // row_step
|
||||
if columns > 0 and rows > 0: # у маленького изображения часть проходов пуста
|
||||
passes.append((1 + (columns * bits_per_pixel + 7) // 8, rows))
|
||||
return passes
|
||||
|
||||
|
||||
class ScanlineFilters:
|
||||
"""Следит за байтами фильтра в распакованном потоке, сами данные не хранит."""
|
||||
|
||||
def __init__(self, passes: list):
|
||||
self.passes = iter(passes)
|
||||
self.position = 0 # смещение начала следующего блока в распакованном потоке
|
||||
self.next_filter = 0 # смещение следующего байта фильтра
|
||||
self.row_size, self.rows_left = next(self.passes, (0, 0))
|
||||
self.expected = sum(size * rows for size, rows in passes)
|
||||
|
||||
def feed(self, block: bytes) -> None:
|
||||
end = self.position + len(block)
|
||||
if end > self.expected:
|
||||
raise NotAnImage()
|
||||
while self.rows_left and self.next_filter < end:
|
||||
start = self.next_filter - self.position
|
||||
rows = min(self.rows_left, (len(block) - start + self.row_size - 1) // self.row_size)
|
||||
# срез вместо цикла: строк может быть 40 млн, а Python проходит их слишком долго
|
||||
if max(block[start:start + rows * self.row_size:self.row_size]) > 4:
|
||||
raise NotAnImage()
|
||||
self.next_filter += rows * self.row_size
|
||||
self.rows_left -= rows
|
||||
if not self.rows_left:
|
||||
self.row_size, self.rows_left = next(self.passes, (0, 0))
|
||||
self.position = end
|
||||
|
||||
|
||||
def check_png(file, max_pixels: int) -> None:
|
||||
inflater = zlib.decompressobj()
|
||||
header = None
|
||||
limit = 0
|
||||
unpacked = 0
|
||||
interlaced = False
|
||||
filters = None
|
||||
seen_palette = False
|
||||
seen_data = False
|
||||
data_finished = False
|
||||
color = None
|
||||
while True:
|
||||
length, kind = struct.unpack(">I4s", read_exact(file, 8))
|
||||
if length >= 2**31 or (header is None and kind != b"IHDR"):
|
||||
if length >= 2**31 or not kind.isalpha() or (filters is None and kind != b"IHDR"):
|
||||
raise NotAnImage()
|
||||
# заглавная первая буква значит «без понимания этого блока файл читать нельзя»
|
||||
if kind[0] < 0x61 and kind not in PNG_CRITICAL_CHUNKS:
|
||||
raise NotAnImage()
|
||||
if kind == b"IDAT":
|
||||
if data_finished or (color == 3 and not seen_palette):
|
||||
raise NotAnImage()
|
||||
elif seen_data:
|
||||
data_finished = True # блоки IDAT должны идти подряд
|
||||
crc = zlib.crc32(kind)
|
||||
remaining = length
|
||||
body = b""
|
||||
@@ -74,53 +137,51 @@ def check_png(file, max_pixels: int) -> None:
|
||||
raise NotAnImage()
|
||||
remaining -= len(block)
|
||||
crc = zlib.crc32(block, crc)
|
||||
if kind == b"IHDR":
|
||||
if kind == b"IHDR" and len(body) <= 13:
|
||||
body += block
|
||||
elif kind == b"IDAT":
|
||||
seen_data = True
|
||||
unpacked += inflate(inflater, block, limit - unpacked)
|
||||
inflate(inflater, block, filters)
|
||||
if struct.unpack(">I", read_exact(file, 4))[0] != crc:
|
||||
raise NotAnImage()
|
||||
if kind == b"IHDR":
|
||||
if header is not None or length != 13:
|
||||
if filters is not None or length != 13:
|
||||
raise NotAnImage()
|
||||
header = struct.unpack(">IIBBBBB", body)
|
||||
width, height, depth, color, compression, filtering, interlace = header
|
||||
width, height, depth, color, compression, filtering, interlace = struct.unpack(">IIBBBBB", body)
|
||||
depths, channels = PNG_COLOR_TYPES.get(color, ((), 0))
|
||||
if depth not in depths or compression != 0 or filtering != 0 or interlace not in (0, 1):
|
||||
raise NotAnImage()
|
||||
check_size(width, height, max_pixels)
|
||||
interlaced = interlace == 1
|
||||
limit = png_raw_size(width, height, depth * channels)
|
||||
if interlaced:
|
||||
# чересстрочная запись длиннее: у каждого из семи проходов свои байты фильтра
|
||||
limit += 7 * height + limit // 4
|
||||
filters = ScanlineFilters(png_passes(width, height, depth * channels, interlace == 1))
|
||||
elif kind == b"PLTE":
|
||||
if seen_palette or seen_data or color in (0, 4) or length == 0 or length % 3 or length > 768:
|
||||
raise NotAnImage()
|
||||
seen_palette = True
|
||||
elif kind == b"IEND":
|
||||
if length != 0:
|
||||
raise NotAnImage()
|
||||
break
|
||||
if not seen_data or not inflater.eof or file.read(1):
|
||||
if not seen_data or not inflater.eof or inflater.unused_data or file.read(1):
|
||||
raise NotAnImage()
|
||||
if not interlaced and unpacked != limit:
|
||||
if filters.position != filters.expected:
|
||||
raise NotAnImage()
|
||||
|
||||
|
||||
def inflate(inflater, block: bytes, allowed: int) -> int:
|
||||
"""Распаковывает блок, не накапливая результат. Возвращает, сколько байт получилось."""
|
||||
total = 0
|
||||
def inflate(inflater, block: bytes, filters: ScanlineFilters) -> None:
|
||||
"""Распаковывает блок и проверяет строки, не накапливая результат."""
|
||||
while block and not inflater.eof:
|
||||
chunk = inflater.decompress(block, BLOCK)
|
||||
total += len(chunk)
|
||||
if total > allowed:
|
||||
raise NotAnImage()
|
||||
filters.feed(inflater.decompress(block, BLOCK))
|
||||
block = inflater.unconsumed_tail
|
||||
return total
|
||||
|
||||
|
||||
def check_jpeg(file, max_pixels: int) -> None:
|
||||
def check_jpeg_structure(file, max_pixels: int) -> None:
|
||||
"""Быстрая проверка маркеров: размер, число сканов, объём данных. Содержимое проверит декодер."""
|
||||
file.seek(0, 2)
|
||||
end = file.tell()
|
||||
file.seek(2)
|
||||
seen_frame = False
|
||||
seen_scan = False
|
||||
frame = None
|
||||
scans = 0
|
||||
scan_bytes = 0
|
||||
while True:
|
||||
if read_exact(file, 1) != b"\xff":
|
||||
raise NotAnImage()
|
||||
@@ -128,9 +189,7 @@ def check_jpeg(file, max_pixels: int) -> None:
|
||||
while marker == 0xFF: # перед маркером разрешены байты-заполнители
|
||||
marker = read_exact(file, 1)[0]
|
||||
if marker == 0xD9: # конец изображения; данные после него допустимы, так делают камеры
|
||||
if seen_scan:
|
||||
return
|
||||
raise NotAnImage()
|
||||
break
|
||||
if 0xD0 <= marker <= 0xD7 or marker == 0x01:
|
||||
continue
|
||||
if marker == 0x00 or marker == 0xD8:
|
||||
@@ -138,24 +197,44 @@ def check_jpeg(file, max_pixels: int) -> None:
|
||||
length = struct.unpack(">H", read_exact(file, 2))[0]
|
||||
if length < 2 or file.tell() + length - 2 > end:
|
||||
raise NotAnImage()
|
||||
segment = read_exact(file, length - 2)
|
||||
if marker in JPEG_SOF:
|
||||
if seen_frame or length < 8:
|
||||
if frame is not None:
|
||||
raise NotAnImage()
|
||||
height, width = struct.unpack(">xHH", read_exact(file, 5))
|
||||
check_size(width, height, max_pixels)
|
||||
seen_frame = True
|
||||
file.seek(length - 7, 1)
|
||||
else:
|
||||
file.seek(length - 2, 1)
|
||||
frame = marker, parse_frame(segment, max_pixels)
|
||||
if marker == 0xDA:
|
||||
if not seen_frame:
|
||||
scans += 1
|
||||
if frame is None or scans > MAX_JPEG_SCANS:
|
||||
raise NotAnImage()
|
||||
seen_scan = True
|
||||
skip_scan(file)
|
||||
scan_bytes += skip_scan(file)
|
||||
if frame is None or not scans:
|
||||
raise NotAnImage()
|
||||
# без этой проверки декодер принял бы заголовки с почти пустым сканом: конец данных он считает предупреждением
|
||||
if frame[0] in JPEG_HUFFMAN_SOF and scan_bytes * 8 < frame[1]:
|
||||
raise NotAnImage()
|
||||
|
||||
|
||||
def skip_scan(file) -> None:
|
||||
"""Проходит сжатые данные скана и оставляет файл на следующем маркере."""
|
||||
def parse_frame(segment: bytes, max_pixels: int) -> int:
|
||||
"""Проверяет заголовок кадра и возвращает число блоков изображения."""
|
||||
if len(segment) < 6:
|
||||
raise NotAnImage()
|
||||
_, height, width, components = struct.unpack(">BHHB", segment[:6])
|
||||
if components not in (1, 3, 4) or len(segment) != 6 + 3 * components:
|
||||
raise NotAnImage()
|
||||
check_size(width, height, max_pixels)
|
||||
sampling = [segment[7 + 3 * index] for index in range(components)]
|
||||
horizontal = [value >> 4 for value in sampling]
|
||||
vertical = [value & 0x0F for value in sampling]
|
||||
if not all(1 <= value <= 4 for value in horizontal + vertical):
|
||||
raise NotAnImage()
|
||||
mcu_columns = (width + 8 * max(horizontal) - 1) // (8 * max(horizontal))
|
||||
mcu_rows = (height + 8 * max(vertical) - 1) // (8 * max(vertical))
|
||||
return mcu_columns * mcu_rows * sum(h * v for h, v in zip(horizontal, vertical))
|
||||
|
||||
|
||||
def skip_scan(file) -> int:
|
||||
"""Проходит сжатые данные скана, оставляет файл на следующем маркере и возвращает их объём."""
|
||||
begin = file.tell()
|
||||
while True:
|
||||
start = file.tell()
|
||||
block = file.read(BLOCK)
|
||||
@@ -176,7 +255,23 @@ def skip_scan(file) -> None:
|
||||
position += 1
|
||||
else:
|
||||
file.seek(start + position)
|
||||
return
|
||||
return start + position - begin
|
||||
|
||||
|
||||
def decode_jpeg(file) -> None:
|
||||
"""Настоящее декодирование с уменьшением: файл принимается, только если декодер дошёл до конца."""
|
||||
from PIL import Image # здесь, а не в начале файла: разбор PNG декодера не требует
|
||||
|
||||
file.seek(0)
|
||||
with decode_lock:
|
||||
try:
|
||||
with Image.open(file, formats=["JPEG"]) as image:
|
||||
image.draft(None, (max(1, image.width // 8), max(1, image.height // 8)))
|
||||
image.load()
|
||||
except MemoryError:
|
||||
raise
|
||||
except Exception as error: # у декодера нет единого исключения: OSError, SyntaxError, ValueError и другие
|
||||
raise NotAnImage() from error
|
||||
|
||||
|
||||
def read_exact(file, size: int) -> bytes:
|
||||
|
||||
@@ -0,0 +1,177 @@
|
||||
"""Сверка с настоящим декодером. Pillow здесь судья: загружает изображение полностью и без уменьшения.
|
||||
|
||||
Главное правило: файл, который Pillow отвергает, отвергаем и мы. Обратное тоже проверяется на настоящих
|
||||
файлах: всё, что Pillow умеет записать, должно приниматься.
|
||||
"""
|
||||
import io
|
||||
import random
|
||||
import struct
|
||||
import sys
|
||||
import unittest
|
||||
import warnings
|
||||
import zlib
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")]
|
||||
from PIL import Image, ImageFile # noqa: E402
|
||||
|
||||
import images # noqa: E402
|
||||
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
|
||||
|
||||
LIMIT = 40_000_000
|
||||
ImageFile.LOAD_TRUNCATED_IMAGES = False
|
||||
warnings.simplefilter("ignore")
|
||||
|
||||
|
||||
def pillow_accepts(data):
|
||||
try:
|
||||
with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image:
|
||||
image.load()
|
||||
with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image:
|
||||
image.verify()
|
||||
return True
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
|
||||
def we_accept(data):
|
||||
try:
|
||||
images.inspect(io.BytesIO(data), LIMIT)
|
||||
return True
|
||||
except (images.NotAnImage, images.TooManyPixels):
|
||||
return False
|
||||
|
||||
|
||||
def picture(mode, size=(64, 48)):
|
||||
image = Image.effect_noise(size, 60).convert("RGB")
|
||||
return image.convert(mode) if mode != "RGB" else image
|
||||
|
||||
|
||||
def encoded(image, **options):
|
||||
out = io.BytesIO()
|
||||
image.save(out, **options)
|
||||
return out.getvalue()
|
||||
|
||||
|
||||
def valid_corpus():
|
||||
corpus = {}
|
||||
for mode in ("1", "L", "LA", "P", "PA", "RGB", "RGBA", "I;16"):
|
||||
try:
|
||||
corpus["png-" + mode] = encoded(picture(mode), format="PNG")
|
||||
except (OSError, ValueError):
|
||||
pass
|
||||
corpus["png-optimized"] = encoded(picture("RGB"), format="PNG", optimize=True)
|
||||
corpus["png-1x1"] = encoded(picture("RGB", (1, 1)), format="PNG")
|
||||
corpus["png-text"] = encoded(picture("L"), format="PNG", dpi=(72, 72))
|
||||
for mode in ("L", "RGB", "CMYK"):
|
||||
corpus["jpeg-" + mode] = encoded(picture(mode), format="JPEG")
|
||||
for subsampling in (0, 1, 2):
|
||||
corpus["jpeg-sub-%d" % subsampling] = encoded(picture("RGB"), format="JPEG", subsampling=subsampling)
|
||||
corpus["jpeg-progressive"] = encoded(picture("RGB"), format="JPEG", progressive=True)
|
||||
corpus["jpeg-optimized"] = encoded(picture("RGB"), format="JPEG", optimize=True)
|
||||
corpus["jpeg-restart"] = encoded(picture("RGB"), format="JPEG", restart_marker_blocks=4)
|
||||
corpus["jpeg-1x1"] = encoded(picture("RGB", (1, 1)), format="JPEG")
|
||||
corpus["jpeg-flat"] = encoded(Image.new("L", (512, 512), 128), format="JPEG")
|
||||
corpus["jpeg-flat-progressive"] = encoded(Image.new("RGB", (512, 512), (9, 9, 9)), format="JPEG", progressive=True)
|
||||
corpus["jpeg-exif"] = encoded(picture("RGB"), format="JPEG", exif=b"Exif\x00\x00MM\x00*\x00\x00\x00\x08\x00\x00")
|
||||
corpus.update({name: data for name, (_, data) in REAL_IMAGES.items()})
|
||||
return corpus
|
||||
|
||||
|
||||
class ValidFilesTest(unittest.TestCase):
|
||||
def test_every_valid_file_is_accepted(self):
|
||||
for name, data in valid_corpus().items():
|
||||
with self.subTest(name):
|
||||
self.assertTrue(pillow_accepts(data), "образец сам не принят Pillow")
|
||||
self.assertTrue(we_accept(data))
|
||||
|
||||
|
||||
class AgreementTest(unittest.TestCase):
|
||||
def assert_no_false_accept(self, name, candidates):
|
||||
false_accepts = []
|
||||
rejected = accepted = 0
|
||||
for data in candidates:
|
||||
ours = we_accept(data)
|
||||
theirs = pillow_accepts(data)
|
||||
accepted += ours
|
||||
rejected += not ours
|
||||
if ours and not theirs:
|
||||
false_accepts.append(data)
|
||||
print("%s: принято %d, отвергнуто %d, принято вопреки Pillow %d" % (name, accepted, rejected, len(false_accepts)))
|
||||
self.assertEqual(false_accepts[:1], [], "%s: принято %d файлов, которые Pillow отвергает" % (name, len(false_accepts)))
|
||||
|
||||
def test_random_bytes_changed(self):
|
||||
rng = random.Random(20261031)
|
||||
corpus = valid_corpus()
|
||||
|
||||
def mutated():
|
||||
for name, original in corpus.items():
|
||||
for _ in range(200):
|
||||
data = bytearray(original)
|
||||
for _ in range(rng.randint(1, 6)):
|
||||
data[rng.randrange(len(data))] = rng.randrange(256)
|
||||
yield bytes(data)
|
||||
|
||||
self.assert_no_false_accept("замена байтов", mutated())
|
||||
|
||||
def test_cut_files(self):
|
||||
rng = random.Random(1031)
|
||||
corpus = valid_corpus()
|
||||
|
||||
def cut():
|
||||
for original in corpus.values():
|
||||
for _ in range(40):
|
||||
end = rng.randrange(len(original))
|
||||
yield original[:end]
|
||||
yield original[:end] + b"\xff\xd9"
|
||||
|
||||
self.assert_no_false_accept("обрезка", cut())
|
||||
|
||||
def test_png_with_recomputed_crc(self):
|
||||
"""Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании."""
|
||||
rng = random.Random(7)
|
||||
|
||||
def forged():
|
||||
for _ in range(1500):
|
||||
width, height = rng.randint(1, 12), rng.randint(1, 12)
|
||||
size = (1 + width * 3) * height
|
||||
raw = bytearray(rng.choice(b"\x00\x01\x02\x03\x04") for _ in range(size))
|
||||
for _ in range(rng.randint(0, 3)):
|
||||
raw[rng.randrange(size)] = rng.randrange(256)
|
||||
yield make_png(width, height, bytes(raw))
|
||||
|
||||
self.assert_no_false_accept("PNG с верными CRC", forged())
|
||||
|
||||
def test_jpeg_with_headers_rebuilt(self):
|
||||
rng = random.Random(9)
|
||||
original = REAL_IMAGES["jpeg_baseline"][1]
|
||||
scan = original.index(b"\xff\xda")
|
||||
length = struct.unpack(">H", original[scan + 2:scan + 4])[0]
|
||||
head = original[:scan + 2 + length]
|
||||
|
||||
def forged():
|
||||
for _ in range(800):
|
||||
body = bytes(rng.randrange(255) for _ in range(rng.randint(0, 300)))
|
||||
yield head + body.replace(b"\xff", b"\x00") + b"\xff\xd9"
|
||||
|
||||
self.assert_no_false_accept("JPEG с настоящими заголовками", forged())
|
||||
|
||||
def test_png_chunks_shuffled(self):
|
||||
rng = random.Random(3)
|
||||
signature = b"\x89PNG\r\n\x1a\n"
|
||||
chunks = [b"IHDR", b"PLTE", b"IDAT", b"IEND", b"tEXt"]
|
||||
|
||||
def forged():
|
||||
header = struct.pack(">IIBBBBB", 2, 2, 8, 3, 0, 0, 0)
|
||||
bodies = {b"IHDR": header, b"PLTE": b"\x01\x02\x03", b"IDAT": zlib.compress(b"\x00\x00\x00" * 2),
|
||||
b"IEND": b"", b"tEXt": b"a\x00b"}
|
||||
for _ in range(600):
|
||||
order = rng.choices(chunks, k=rng.randint(1, 6))
|
||||
yield signature + b"".join(png_chunk(kind, bodies[kind]) for kind in order)
|
||||
|
||||
self.assert_no_false_accept("порядок блоков PNG", forged())
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -0,0 +1,288 @@
|
||||
"""Разбор изображений без сервера. Запускается внутри образа API (make test-images): нужен Pillow."""
|
||||
import io
|
||||
import random
|
||||
import struct
|
||||
import sys
|
||||
import unittest
|
||||
import zlib
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")]
|
||||
import images # noqa: E402
|
||||
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
|
||||
|
||||
LIMIT = 40_000_000
|
||||
|
||||
|
||||
def inspect(data, limit=LIMIT):
|
||||
return images.inspect(io.BytesIO(data), limit)
|
||||
|
||||
|
||||
class RealImagesTest(unittest.TestCase):
|
||||
def test_real_images_are_accepted(self):
|
||||
for name, (content_type, data) in REAL_IMAGES.items():
|
||||
with self.subTest(name):
|
||||
self.assertEqual(inspect(data), content_type)
|
||||
|
||||
def test_course_fixture(self):
|
||||
path = ROOT / "tests/fixtures/sample.png"
|
||||
self.assertEqual(inspect(path.read_bytes()), "image/png")
|
||||
|
||||
def test_jpeg_with_data_after_end(self):
|
||||
# камеры дописывают после конца изображения превью
|
||||
self.assertEqual(inspect(REAL_IMAGES["jpeg_baseline"][1] + b"\xff\xd8" + b"x" * 50), "image/jpeg")
|
||||
|
||||
def test_marker_on_block_border(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start = data.index(b"\xff\xda")
|
||||
length = struct.unpack(">H", data[start + 2:start + 4])[0]
|
||||
padded = data[:start + 2 + length] + b"\x12" * (images.BLOCK - 3) + b"\xff\x00" * 40 + data[start + 2 + length:]
|
||||
self.assertEqual(inspect(bytes(padded)), "image/jpeg")
|
||||
|
||||
|
||||
class BrokenImagesTest(unittest.TestCase):
|
||||
def assert_not_image(self, data):
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(data)
|
||||
|
||||
def test_truncated(self):
|
||||
for name, (_, data) in REAL_IMAGES.items():
|
||||
for size in (0, 1, 2, 3, 8, 12, len(data) // 2, len(data) - 1):
|
||||
with self.subTest(name=name, size=size):
|
||||
self.assert_not_image(data[:size])
|
||||
|
||||
def test_not_images(self):
|
||||
for data in (b"", b"GIF89a" + b"\x00" * 20, b"%PDF-1.7", b"<svg></svg>", b"\xff\xd8", b"\x89PNG\r\n\x1a\n"):
|
||||
with self.subTest(start=data[:8]):
|
||||
self.assert_not_image(data)
|
||||
|
||||
def test_png_bad_crc(self):
|
||||
data = bytearray(make_png(8, 8))
|
||||
data[-20] ^= 0xFF
|
||||
self.assert_not_image(bytes(data))
|
||||
|
||||
def test_png_data_after_end(self):
|
||||
self.assert_not_image(make_png(8, 8) + b"<script>")
|
||||
|
||||
def test_png_with_wrong_amount_of_pixels(self):
|
||||
self.assert_not_image(make_png(8, 8, b"\x00" * 10))
|
||||
self.assert_not_image(make_png(8, 8, b"\x00" * 10000))
|
||||
|
||||
def test_png_data_is_not_zlib(self):
|
||||
header = struct.pack(">IIBBBBB", 8, 8, 8, 2, 0, 0, 0)
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", b"not zlib") + png_chunk(b"IEND", b"")
|
||||
self.assert_not_image(data)
|
||||
|
||||
def test_png_zero_size(self):
|
||||
self.assert_not_image(make_png(0, 8, b""))
|
||||
|
||||
def test_jpeg_without_frame_or_scan(self):
|
||||
self.assert_not_image(b"\xff\xd8\xff\xd9")
|
||||
self.assert_not_image(b"\xff\xd8\xff\xe0\x00\x04ab\xff\xd9")
|
||||
|
||||
def test_png_data_after_compressed_stream_in_zero_size(self):
|
||||
self.assert_not_image(make_png(1, 0, b""))
|
||||
|
||||
def test_random_corruption_never_crashes(self):
|
||||
random.seed(20261030)
|
||||
for name, (_, original) in REAL_IMAGES.items():
|
||||
for _ in range(300):
|
||||
data = bytearray(original)
|
||||
for _ in range(random.randint(1, 8)):
|
||||
data[random.randrange(len(data))] = random.randrange(256)
|
||||
try:
|
||||
inspect(bytes(data))
|
||||
except (images.NotAnImage, images.TooManyPixels):
|
||||
pass
|
||||
|
||||
|
||||
class ReviewCasesTest(unittest.TestCase):
|
||||
"""Файлы из замечания: заголовки верны, а изображения в них нет."""
|
||||
|
||||
def test_png_with_invalid_filter_byte(self):
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(make_png(1, 1, b"\xff\x00\x00\x00"))
|
||||
|
||||
def test_jpeg_without_image_data(self):
|
||||
data = bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9")
|
||||
self.assertEqual(len(data), 27)
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(data)
|
||||
|
||||
|
||||
class PngContentTest(unittest.TestCase):
|
||||
def assert_not_image(self, data):
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(data)
|
||||
|
||||
def test_bad_filter_in_any_row(self):
|
||||
row = b"\x00" + b"\x07" * 12
|
||||
for bad_row in (0, 1, 7, 15):
|
||||
rows = [row] * 16
|
||||
rows[bad_row] = b"\x05" + b"\x07" * 12
|
||||
with self.subTest(row=bad_row):
|
||||
self.assert_not_image(make_png(4, 16, b"".join(rows)))
|
||||
|
||||
def test_all_valid_filters(self):
|
||||
raw = b"".join(bytes([number % 5]) + b"\x07" * 12 for number in range(16))
|
||||
self.assertEqual(inspect(make_png(4, 16, raw)), "image/png")
|
||||
|
||||
def test_filter_check_crosses_inflate_blocks(self):
|
||||
# строки длиннее блока распаковки: байт фильтра может оказаться в любом месте блока
|
||||
row_size = 1 + 3 * 40000
|
||||
raw = bytearray(b"\x00" * row_size * 5)
|
||||
raw[row_size * 3] = 9
|
||||
self.assert_not_image(make_png(40000, 5, bytes(raw)))
|
||||
raw[row_size * 3] = 4
|
||||
self.assertEqual(inspect(make_png(40000, 5, bytes(raw))), "image/png")
|
||||
|
||||
def test_many_short_rows_are_checked_quickly(self):
|
||||
import time
|
||||
|
||||
height = 5_000_000
|
||||
started = time.monotonic()
|
||||
header = struct.pack(">IIBBBBB", 1, height, 1, 0, 0, 0, 0)
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header)
|
||||
data += png_chunk(b"IDAT", zlib.compress(b"\x00\x80" * height)) + png_chunk(b"IEND", b"")
|
||||
self.assertEqual(inspect(data), "image/png")
|
||||
self.assertLess(time.monotonic() - started, 5)
|
||||
|
||||
def test_interlaced(self):
|
||||
def adam7(width, height, filter_byte=0):
|
||||
rows = images.png_passes(width, height, 24, True)
|
||||
return b"".join((bytes([filter_byte]) + b"\x07" * (size - 1)) * count for size, count in rows)
|
||||
|
||||
def interlaced_png(width, height, raw):
|
||||
header = struct.pack(">IIBBBBB", width, height, 8, 2, 0, 0, 1)
|
||||
return (b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(raw))
|
||||
+ png_chunk(b"IEND", b""))
|
||||
|
||||
for width, height in ((1, 1), (2, 3), (5, 5), (8, 8), (33, 17)):
|
||||
with self.subTest(size=(width, height)):
|
||||
self.assertEqual(inspect(interlaced_png(width, height, adam7(width, height))), "image/png")
|
||||
self.assert_not_image(interlaced_png(width, height, adam7(width, height, 7)))
|
||||
self.assert_not_image(interlaced_png(width, height, adam7(width, height) + b"\x00"))
|
||||
self.assert_not_image(interlaced_png(width, height, adam7(width, height)[:-1]))
|
||||
|
||||
def test_chunk_order(self):
|
||||
signature, rest = b"\x89PNG\r\n\x1a\n", make_png(4, 4)[8:]
|
||||
ihdr, tail = rest[:25], rest[25:]
|
||||
end = tail[-12:]
|
||||
idat = tail[:-12]
|
||||
half = len(idat)
|
||||
comment = png_chunk(b"tEXt", b"a\x00b")
|
||||
self.assertEqual(inspect(signature + ihdr + comment + idat + comment + end), "image/png")
|
||||
# два IDAT с другим блоком между ними
|
||||
raw = zlib.compress(b"\x00" * 13 * 4)
|
||||
split = png_chunk(b"IDAT", raw[:5]) + comment + png_chunk(b"IDAT", raw[5:])
|
||||
self.assert_not_image(signature + ihdr + split + end)
|
||||
# неизвестный обязательный блок, неизвестный необязательный, второй IHDR, данные в IEND
|
||||
self.assert_not_image(signature + ihdr + png_chunk(b"XXXX", b"") + idat + end)
|
||||
self.assertEqual(inspect(signature + ihdr + png_chunk(b"xxXx", b"") + idat + end), "image/png")
|
||||
self.assert_not_image(signature + ihdr + ihdr + idat + end)
|
||||
self.assert_not_image(signature + ihdr + idat + png_chunk(b"IEND", b"x"))
|
||||
self.assertGreater(half, 0)
|
||||
|
||||
def test_palette_rules(self):
|
||||
header = struct.pack(">IIBBBBB", 1, 1, 8, 3, 0, 0, 0)
|
||||
idat = png_chunk(b"IDAT", zlib.compress(b"\x00\x00"))
|
||||
start = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header)
|
||||
end = png_chunk(b"IEND", b"")
|
||||
self.assertEqual(inspect(start + png_chunk(b"PLTE", b"\x01\x02\x03") + idat + end), "image/png")
|
||||
self.assert_not_image(start + idat + end)
|
||||
self.assert_not_image(start + idat + png_chunk(b"PLTE", b"\x01\x02\x03") + end)
|
||||
self.assert_not_image(start + png_chunk(b"PLTE", b"\x01\x02") + idat + end)
|
||||
|
||||
def test_garbage_after_compressed_data(self):
|
||||
raw = zlib.compress(b"\x00" * 13 * 4) + b"junk"
|
||||
header = struct.pack(">IIBBBBB", 4, 4, 8, 2, 0, 0, 0)
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", raw) + png_chunk(b"IEND", b"")
|
||||
self.assert_not_image(data)
|
||||
|
||||
|
||||
class JpegContentTest(unittest.TestCase):
|
||||
def assert_not_image(self, data):
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(data)
|
||||
|
||||
def segment(self, data, marker):
|
||||
start = data.index(bytes([0xFF, marker]))
|
||||
return start, 2 + struct.unpack(">H", data[start + 2:start + 4])[0]
|
||||
|
||||
def without_segments(self, data, marker):
|
||||
stripped = bytearray(data)
|
||||
while True:
|
||||
try:
|
||||
start, length = self.segment(bytes(stripped), marker)
|
||||
except ValueError:
|
||||
return bytes(stripped)
|
||||
del stripped[start:start + length]
|
||||
|
||||
def test_without_quantization_tables(self):
|
||||
self.assert_not_image(self.without_segments(REAL_IMAGES["jpeg_baseline"][1], 0xDB))
|
||||
|
||||
def test_without_huffman_tables_like_mjpeg(self):
|
||||
# кадры MJPEG хранятся без таблиц Хаффмана, декодер подставляет стандартные: такой файл корректен
|
||||
stripped = self.without_segments(REAL_IMAGES["jpeg_baseline"][1], 0xC4)
|
||||
self.assertEqual(inspect(stripped), "image/jpeg")
|
||||
|
||||
def test_scan_replaced_by_almost_nothing(self):
|
||||
data = REAL_IMAGES["jpeg_baseline"][1]
|
||||
start, length = self.segment(data, 0xDA)
|
||||
self.assert_not_image(data[:start + length] + b"\xff\xd9")
|
||||
self.assert_not_image(data[:start + length] + b"\x12" + b"\xff\xd9")
|
||||
|
||||
def test_truncated_with_end_marker_added(self):
|
||||
for name in ("jpeg_baseline", "jpeg_progressive"):
|
||||
data = REAL_IMAGES[name][1]
|
||||
start, length = self.segment(data, 0xDA)
|
||||
with self.subTest(name):
|
||||
self.assert_not_image(data[:start + length + 1] + b"\xff\xd9")
|
||||
|
||||
def test_big_frame_with_tiny_scan(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start, _ = self.segment(bytes(data), 0xC0)
|
||||
data[start + 5:start + 9] = struct.pack(">HH", 4000, 4000)
|
||||
self.assert_not_image(bytes(data))
|
||||
|
||||
def test_broken_frame_header(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start, _ = self.segment(bytes(data), 0xC0)
|
||||
for offset, value in ((9, 2), (9, 5), (11, 0x00), (11, 0x55)):
|
||||
broken = bytearray(data)
|
||||
broken[start + offset] = value
|
||||
with self.subTest(offset=offset, value=value):
|
||||
self.assert_not_image(bytes(broken))
|
||||
|
||||
def test_too_many_scans(self):
|
||||
# прогрессивный файл, где скан повторён тысячи раз: декодер прошёл бы всё изображение каждый раз
|
||||
data = REAL_IMAGES["jpeg_progressive"][1]
|
||||
start, length = self.segment(data, 0xDA)
|
||||
scan = data[start:start + length] + b"\x00" * 4
|
||||
self.assert_not_image(data[:start] + scan * (images.MAX_JPEG_SCANS + 1) + b"\xff\xd9")
|
||||
|
||||
|
||||
class PixelLimitTest(unittest.TestCase):
|
||||
def test_png_bomb_is_rejected_before_unpacking(self):
|
||||
header = struct.pack(">IIBBBBB", 50000, 50000, 8, 2, 0, 0, 0)
|
||||
# данные заголовка верны, а распаковать пришлось бы 7,5 ГБ
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(b"\x00" * 1000))
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(data)
|
||||
|
||||
def test_jpeg_over_limit(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start = data.index(b"\xff\xc0")
|
||||
data[start + 5:start + 9] = struct.pack(">HH", 20000, 20000)
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(bytes(data))
|
||||
|
||||
def test_limit_is_exact(self):
|
||||
self.assertEqual(inspect(make_png(10, 10), limit=100), "image/png")
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(make_png(10, 10), limit=99)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -133,6 +133,12 @@ class ContentCheckTest(Base):
|
||||
with self.subTest(name):
|
||||
self.assert_error(upload(self.alice, self.chat, data, content_type), 415, "unsupported_media_type")
|
||||
|
||||
def test_files_from_review(self):
|
||||
png = make_png(1, 1, b"\xff\x00\x00\x00")
|
||||
jpeg = bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9")
|
||||
self.assert_error(upload(self.alice, self.chat, png), 415, "unsupported_media_type")
|
||||
self.assert_error(upload(self.alice, self.chat, jpeg, "image/jpeg"), 415, "unsupported_media_type")
|
||||
|
||||
def test_mime_spoofing(self):
|
||||
png, jpeg = FIXTURE, REAL_IMAGES["jpeg_baseline"][1]
|
||||
self.assert_error(upload(self.alice, self.chat, png, "image/jpeg"), 415, "unsupported_media_type")
|
||||
|
||||
@@ -1,119 +0,0 @@
|
||||
"""Проверка разбора изображений без сервера: файлы настоящие, а испорченные версии не должны ронять разбор."""
|
||||
import io
|
||||
import random
|
||||
import struct
|
||||
import sys
|
||||
import unittest
|
||||
import zlib
|
||||
from pathlib import Path
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "src"))
|
||||
import images # noqa: E402
|
||||
|
||||
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
|
||||
|
||||
LIMIT = 40_000_000
|
||||
|
||||
|
||||
def inspect(data, limit=LIMIT):
|
||||
return images.inspect(io.BytesIO(data), limit)
|
||||
|
||||
|
||||
class RealImagesTest(unittest.TestCase):
|
||||
def test_real_images_are_accepted(self):
|
||||
for name, (content_type, data) in REAL_IMAGES.items():
|
||||
with self.subTest(name):
|
||||
self.assertEqual(inspect(data), content_type)
|
||||
|
||||
def test_course_fixture(self):
|
||||
path = Path(__file__).resolve().parents[1] / "tests/fixtures/sample.png"
|
||||
self.assertEqual(inspect(path.read_bytes()), "image/png")
|
||||
|
||||
def test_jpeg_with_data_after_end(self):
|
||||
# камеры дописывают после конца изображения превью
|
||||
self.assertEqual(inspect(REAL_IMAGES["jpeg_baseline"][1] + b"\xff\xd8" + b"x" * 50), "image/jpeg")
|
||||
|
||||
def test_marker_on_block_border(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start = data.index(b"\xff\xda")
|
||||
length = struct.unpack(">H", data[start + 2:start + 4])[0]
|
||||
padded = data[:start + 2 + length] + b"\x12" * (images.BLOCK - 3) + b"\xff\x00" * 40 + data[start + 2 + length:]
|
||||
self.assertEqual(inspect(bytes(padded)), "image/jpeg")
|
||||
|
||||
|
||||
class BrokenImagesTest(unittest.TestCase):
|
||||
def assert_not_image(self, data):
|
||||
with self.assertRaises(images.NotAnImage):
|
||||
inspect(data)
|
||||
|
||||
def test_truncated(self):
|
||||
for name, (_, data) in REAL_IMAGES.items():
|
||||
for size in (0, 1, 2, 3, 8, 12, len(data) // 2, len(data) - 1):
|
||||
with self.subTest(name=name, size=size):
|
||||
self.assert_not_image(data[:size])
|
||||
|
||||
def test_not_images(self):
|
||||
for data in (b"", b"GIF89a" + b"\x00" * 20, b"%PDF-1.7", b"<svg></svg>", b"\xff\xd8", b"\x89PNG\r\n\x1a\n"):
|
||||
with self.subTest(start=data[:8]):
|
||||
self.assert_not_image(data)
|
||||
|
||||
def test_png_bad_crc(self):
|
||||
data = bytearray(make_png(8, 8))
|
||||
data[-20] ^= 0xFF
|
||||
self.assert_not_image(bytes(data))
|
||||
|
||||
def test_png_data_after_end(self):
|
||||
self.assert_not_image(make_png(8, 8) + b"<script>")
|
||||
|
||||
def test_png_with_wrong_amount_of_pixels(self):
|
||||
self.assert_not_image(make_png(8, 8, b"\x00" * 10))
|
||||
self.assert_not_image(make_png(8, 8, b"\x00" * 10000))
|
||||
|
||||
def test_png_data_is_not_zlib(self):
|
||||
header = struct.pack(">IIBBBBB", 8, 8, 8, 2, 0, 0, 0)
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", b"not zlib") + png_chunk(b"IEND", b"")
|
||||
self.assert_not_image(data)
|
||||
|
||||
def test_png_zero_size(self):
|
||||
self.assert_not_image(make_png(0, 8, b""))
|
||||
|
||||
def test_jpeg_without_frame_or_scan(self):
|
||||
self.assert_not_image(b"\xff\xd8\xff\xd9")
|
||||
self.assert_not_image(b"\xff\xd8\xff\xe0\x00\x04ab\xff\xd9")
|
||||
|
||||
def test_random_corruption_never_crashes(self):
|
||||
random.seed(20261030)
|
||||
for name, (_, original) in REAL_IMAGES.items():
|
||||
for _ in range(1500):
|
||||
data = bytearray(original)
|
||||
for _ in range(random.randint(1, 8)):
|
||||
data[random.randrange(len(data))] = random.randrange(256)
|
||||
try:
|
||||
inspect(bytes(data))
|
||||
except (images.NotAnImage, images.TooManyPixels):
|
||||
pass
|
||||
|
||||
|
||||
class PixelLimitTest(unittest.TestCase):
|
||||
def test_png_bomb_is_rejected_before_unpacking(self):
|
||||
header = struct.pack(">IIBBBBB", 50000, 50000, 8, 2, 0, 0, 0)
|
||||
# данные заголовка верны, а распаковать пришлось бы 7,5 ГБ
|
||||
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(b"\x00" * 1000))
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(data)
|
||||
|
||||
def test_jpeg_over_limit(self):
|
||||
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
|
||||
start = data.index(b"\xff\xc0")
|
||||
data[start + 5:start + 9] = struct.pack(">HH", 20000, 20000)
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(bytes(data))
|
||||
|
||||
def test_limit_is_exact(self):
|
||||
self.assertEqual(inspect(make_png(10, 10), limit=100), "image/png")
|
||||
with self.assertRaises(images.TooManyPixels):
|
||||
inspect(make_png(10, 10), limit=99)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
Reference in New Issue
Block a user