Проверять содержимое изображений: байты фильтра PNG и настоящее декодирование JPEG

This commit is contained in:
2026-10-31 04:06:38 +03:00
parent d812d8f8d8
commit de5efb4457
26 changed files with 1023 additions and 426 deletions
+6 -1
View File
@@ -6,7 +6,7 @@ COMPOSE = docker compose --env-file .env
COMPOSE_TEST = $(COMPOSE) -f compose.yaml -f compose.test.yaml
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo
.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo test-images
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@@ -84,3 +84,8 @@ upload-peak:
# сценарий защиты: файл, сообщение, второй участник, посторонний, прямой GET в S3
attachment-demo:
$(PYTHON) scripts/attachment_demo.py
# разбор изображений и сверка с Pillow внутри образа API: там установлен декодер
test-images:
COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \
docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v'
+61 -30
View File
@@ -4,7 +4,7 @@
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/42
- Использованные источники, библиотеки и помощь ИИ:
- библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`);
- библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, Pillow 13.0.0, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`);
- источники: документация SeaweedFS (S3 API, конфигурация ключей), AWS S3 и boto3, спецификации PNG и JPEG (структура блоков и маркеров), `contracts/README.md`;
- помощь ИИ: ИИ-ассистент использовался во вспомогательных целях.
@@ -22,9 +22,10 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore # вернуть реплику, остановленную failover-тестом
make attachment-demo # сценарий защиты: файл, сообщение, посторонний, прямой GET в S3
make student-test # тесты API, вложений и разбора изображений
make student-test # тесты API и вложений
make test-images # разбор изображений и сверка с Pillow внутри образа API
make test-failures # сбой между S3 и БД, отказ S3, приватность bucket, отказ Redis и PostgreSQL
make upload-peak # 1, 10 и 30 одновременных загрузок по 10 MiB с замером памяти
make upload-peak # 1, 10 и 30 загрузок по 10 MiB и 10 самых тяжёлых JPEG с замером памяти
make janitor # один проход очистки вручную
make failover-each # остановка каждой реплики под нагрузкой
make rolling-update APP_VERSION=2
@@ -58,7 +59,7 @@ s3-init, migrate: одноразовые контейнеры до старта
| Роль | Сервис | Образ | Готовность | Volume | Сеть и порт | Лимиты | Секреты |
| --- | --- | --- | --- | --- | --- | --- | --- |
| load_balancer | `lb` | `infra/haproxy` на `haproxy:3.2.26-alpine` | `/lb-health` | нет | `edge`, опубликован только `127.0.0.1:8080` | 0,5 CPU, 128 МБ | нет |
| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 256 МБ | БД, Redis, S3-ключ API |
| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 512 МБ | БД, Redis, S3-ключ API |
| очистка | `janitor` | тот же образ | нет, цикл с логом | нет | `data`, `storage` | 0,25 CPU, 128 МБ | БД, S3-ключ janitor |
| bootstrap | `migrate`, `s3-init` | тот же образ | одноразовые, код выхода 0 | нет | `data`; `storage` | 0,5 CPU, 128 МБ | БД; S3-ключ admin |
| s3 | `s3` | `infra/s3` на `chrislusf/seaweedfs:4.50` | том данных зарегистрирован в мастере и S3 отвечает | `s3data` | `storage`, порт 9000 не опубликован | 1 CPU, 1 ГБ | все три S3-ключа |
@@ -111,6 +112,8 @@ s3-init, migrate: одноразовые контейнеры до старта
| размер файла | 10 MiB (`MAX_UPLOAD_BYTES`) | 413; по `Content-Length` сразу, без него на ходу приёма |
| грубый предел на балансировщике | 11 MiB | 413 до API |
| пиксели | 40 млн (`MAX_IMAGE_PIXELS`) | 413 из заголовка, без распаковки |
| сканов в JPEG | 100 | 415: каждый скан заставляет декодер пройти всё изображение, в 10 MiB их поместились бы тысячи |
| декодирований JPEG на реплику | 1 | следующее ждёт, память не складывается |
| тело JSON-запроса | 1 MiB | 413 |
| время приёма файла | 60 с | 400 |
| загрузок на реплику | 32 | 429 с `Retry-After` |
@@ -119,7 +122,13 @@ s3-init, migrate: одноразовые контейнеры до старта
В памяти одновременно находится только текущий блок: тело читается потоком, файл уходит в S3 из временного файла, скачивание отдаётся блоками по 64 КБ.
**Проверка изображения без декодирования (`src/images.py`).** Пиксели в память не распаковываются, поэтому decompression bomb не опасна: размер берётся из заголовка до любой работы с данными. PNG: сигнатура, порядок блоков, CRC каждого блока, потоковая распаковка IDAT с выбрасыванием результата, сверка объёма данных с размером изображения, запрет данных после IEND. JPEG: структура маркеров, наличие кадра и скана, маркер конца. Настоящий тип должен совпасть с `Content-Type`, иначе 415. Pillow не используется: полное декодирование 40 млн пикселей заняло бы около 120 МБ на файл при лимите реплики 256 МБ.
**Проверка изображения (`src/images.py`).** Размер берётся из заголовка до любой работы с данными, поэтому decompression bomb отсекается сразу. Настоящий тип должен совпасть с `Content-Type`, иначе 415.
*PNG* проверяется потоково, память не зависит от размера изображения: сигнатура, порядок блоков (IHDR первым, IDAT подряд, PLTE до данных и обязателен для палитры, неизвестные обязательные блоки запрещены), CRC каждого блока, распаковка с выбрасыванием результата, байт фильтра 0–4 в начале каждой строки, точный объём данных, в том числе для чересстрочных изображений Adam7, запрет данных после конца.
*JPEG* так проверить нельзя: понять, что в скане настоящие данные, можно только декодированием. Поэтому сначала идёт быстрый разбор маркеров (размер, заголовок кадра, число сканов, объём данных не меньше 1 бита на блок), затем настоящий декодер Pillow с уменьшением в 8 раз. Файл принимается, только если декодер дошёл до конца. Обычный JPEG при этом занимает около 6 МБ. Прогрессивный хранит коэффициенты всего изображения, уменьшение тут не помогает: измерено 234 МБ для RGB и 311 МБ для CMYK на 40 млн пикселей. Поэтому декодирование идёт по одному на реплику, а лимит реплики поднят до 512 МБ.
Почему PNG не отдан Pillow целиком: 40 млн пикселей RGBA заняли бы 160 МБ, а уменьшения при чтении у PNG нет. Соответствие декодеру проверяется отдельно, см. раздел об экспериментах.
**Имя файла.** 1–255 символов Unicode, запрещены `/`, `\`, NUL, управляющие символы, символы смены направления текста (ими маскируют расширение), строки из пробелов, `.` и `..`.
@@ -147,6 +156,10 @@ Bucket приватный: в конфигурации сервера нет а
Ключ, сообщение и ссылки на вложения пишутся одной транзакцией. Проверка вложений (готово и лежит в этом чате) выполняется в ней же: чужое или неизвестное вложение даёт 404 и откатывает занятие ключа, поэтому ключ можно использовать снова. Повтор сравнивается по тексту и списку `attachment_ids`; отсутствующий список равен пустому, другой список — 409.
### Исправления по замечаниям
**Неполная проверка корректности изображения.** PNG 1×1 с верными CRC и строкой с недопустимым фильтром `ff`, а также JPEG из 27 байт только с заголовками принимались как `ready`: первая версия проверяла форму файла, но не его содержимое. Теперь PNG проверяется построчно, JPEG проходит через настоящий декодер (раздел о проверке изображения выше). Оба файла из замечания дают 415, тесты: `test_files_from_review`, `ReviewCasesTest`. Чтобы не исправлять только два примера, добавлена сверка с Pillow на 11 580 испорченных файлах.
### Что перенесено из lab3 и что изменено
Перенесены: балансировщик и реплики, сессии в Redis, идемпотентность, миграции, поочерёдная замена, строгий разбор JSON, все тесты. Добавлены: сервисы `s3`, `s3-init`, `janitor`, сеть `storage`, миграция `0003`, endpoint вложений, поле `attachment_ids`. Изменено: `timeout server` балансировщика 20 с вместо 12; строгие лимиты тела JSON (раньше лимита не было). Миграция `0003` снимает требование непустого текста и добавляет таблицы, версия lab3 на такой схеме продолжила бы работать; совместная работа разных версий не проверялась.
@@ -173,38 +186,53 @@ Bucket приватный: в конфигурации сервера нет а
| Публичный smoke сразу после чистого запуска | `make up`, `make test` | `PASS: lab4 public API scenario` | `evidence/01-up-and-smoke.txt` |
| 3: S3 в общем стенде, метаданные в PostgreSQL, байты в приватном bucket | `make up`, `make attachment-demo` | сервис `s3`, прямой GET без подписи 403 | `evidence/01-up-and-smoke.txt`, `evidence/02-defense-scenario.txt` |
| 3: 201 ready, побайтное скачивание, сообщение с вложением, посторонний 404 | `make attachment-demo`, `test_attachments.py` | sha256 совпал, посторонний 404 на метаданные и байты | `evidence/02-defense-scenario.txt`, `evidence/03-student-tests.txt` |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `test_images.py` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415 | `evidence/03-student-tests.txt` |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `make test-images` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415; 0 файлов принято вопреки Pillow | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` |
| 3: upload → остановка реплики → download через другую | `make test-failover`, 2 прогона | `PASS`, контейнер `exited`, файл скачан и совпал | `evidence/05-failover-public.txt` |
| 3: restart сохраняет метаданные и оригинал | `make test-persistence` | `PASS`, новое время старта у всех контейнеров, включая `s3` | `evidence/04-persistence.txt` |
| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt` |
| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 6 подтверждённых файлов скачиваются | `evidence/08-failures.txt` |
| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py`, `make test-images` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` |
| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 3 подтверждённых файла скачиваются | `evidence/08-failures.txt` |
| 4: grace period и безопасность очистки | `test_grace_period_protects_fresh_upload`, `test_ready_attachments_are_never_removed` | свежий `pending` и `ready` не тронуты | `evidence/08-failures.txt` |
| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` |
| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 у S3 и реплик | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` |
| 4: bootstrap идемпотентен | `docker compose run --rm s3-init` | `bucket уже есть`, объекты не изменились | `evidence/04-persistence.txt`, `evidence/08-failures.txt` |
| 4: отдельный S3-ключ с ограниченными правами | `test_bucket_is_private_and_api_key_is_limited` | list, create, delete bucket — AccessDenied | `evidence/08-failures.txt` |
| 4: консоль не открыта, проверка private bucket вне API | `docker compose ps`, тот же тест | порты `s3` не опубликованы, анонимный GET 403 | `evidence/10-containers.txt`, `evidence/08-failures.txt` |
| Отказ S3 | `test_s3_down`, `test_failed_upload_is_cleaned` | 503 на файлах, текст и готовность работают, `pending` убран | `evidence/08-failures.txt` |
| Возможности lab3: failover, поочерёдная замена | `make failover-each`, `make rolling-update` | см. таблицу ниже | `evidence/06-failover-each.txt`, `evidence/07-rolling-update.txt` |
| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,73 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` |
| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,57 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` |
Собственные тесты: 142 в `make student-test` (39 вложения, 16 разбор изображений, остальные API) и 27 в `make test-failures` (12 про хранение). `test_images.py` дополнительно портит настоящие изображения случайными байтами 12 000 раз и проверяет, что разбор не падает.
Собственные тесты: 127 в `make student-test` (40 про вложения), 40 в `make test-images` и 27 в `make test-failures` (12 про хранение).
## Эксперименты и отказы
### Проверка изображений против настоящего декодера
Гипотеза: файл, который декодер отвергает, не проходит и наш разбор. Методика (`student-tests/image/test_against_pillow.py`, запуск в образе API): Pillow загружает файл полностью и без уменьшения и служит судьёй. Все файлы, которые он умеет записать (PNG 1/L/LA/P/RGB/RGBA/16 бит, JPEG gray/RGB/CMYK, все виды прореживания, прогрессивный, с маркерами рестарта, 1×1), должны приниматься. Испорченные должны отвергаться, если их отвергает Pillow.
| Набор | Файлов | Принято нами | Принято вопреки Pillow |
| --- | --- | --- | --- |
| случайная замена байтов | 6200 | 2218 | 0 |
| обрезка, в том числе с дописанным маркером конца | 2480 | 370 | 0 |
| PNG с верными CRC и случайными данными | 1500 | 1354 | 0 |
| JPEG с настоящими заголовками и случайным сканом | 800 | 792 | 0 |
| случайный порядок блоков PNG | 600 | 0 | 0 |
Ограничение: Pillow здесь судья и для JPEG, и libjpeg терпим к мусору в сжатых данных. Поэтому 792 файла из 800 в четвёртой строке приняты: случайные байты декодер читает как шум. Обнаружить такое можно только анализом самого изображения.
### Память при одновременных загрузках
Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт. Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд.
Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок, а самый тяжёлый JPEG укладывается в лимит реплики. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт и 10 загрузок прогрессивного CMYK JPEG на 40 млн пикселей (2,6 МиБ). Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд.
| Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ |
| --- | --- | --- | --- |
| 0 (после старта) | — | — | 117 |
| 1 | 0,14–1,83 | 5 из 5 | 117–118 |
| 10 | 1,29–3,87 | 50 из 50 | 124–126 |
| 30 | 3,79–6,43 | 150 из 150 | 126–129 |
| Файл | Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ |
| --- | --- | --- | --- | --- |
| — (после старта) | 0 | — | — | 117 |
| PNG 10 MiB | 1 | 0,14–0,17 | 5 из 5 | 117–119 |
| PNG 10 MiB | 10 | 1,34–2,10 | 50 из 50 | 124–127 |
| PNG 10 MiB | 30 | 4,89–7,19 | 150 из 150 | 127–131 |
| прогрессивный JPEG, 40 млн пикселей | 10 | 1,31–1,47 | 50 из 50 | 435–440 |
Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 12 МиБ, гипотеза подтверждается. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117 и упёрлась бы в лимит 256 МБ.
Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 13 МиБ. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117. Десять самых тяжёлых JPEG дают пик одного декодирования, а не десяти, это подтверждает работу ограничения: иначе реплика ушла бы за лимит 512 МБ.
Ограничение измерения: `memory.peak` контейнера доходит до лимита 256 МБ, но в него входит кэш страниц временных файлов, который система освобождает. OOM на репликах не было. Разброс времени большой: S3 и генератор нагрузки работают на одном компьютере.
Ограничение измерения: `memory.peak` контейнера выше RSS на PNG-уровнях, в него входит кэш страниц временных файлов, который система освобождает. OOM не было ни у S3, ни у реплик, перезапусков тоже. Разброс времени велик: S3 и генератор нагрузки работают на одном компьютере.
### Что эксперимент нашёл по дороге
@@ -214,7 +242,7 @@ Bucket приватный: в конфигурации сервера нет а
### Сбой между S3 и БД
Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: 6 файлов подтверждено (3 из них до сбоя), 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой.
Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: подтверждено 3 файла, 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой.
### Остальные отказы
@@ -222,9 +250,11 @@ Bucket приватный: в конфигурации сервера нет а
| Воздействие | Реплика | Длительность, с | Успешных | RPS | Ошибок | Исключена LB через, с | Пауза записи, с | Потери / дубли |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| `docker stop` | 1 | 17,89 | 10 761 | 602 | 0 | 0,90 | 1,03 | 0 / 0 |
| `docker stop` | 2 | 19,96 | 11 872 | 595 | 0 | 1,51 | 1,02 | 0 / 0 |
| rolling update, 15,5 с | обе | 25,51 | 17 974 | 705 | 0 | — | 1,00 | 0 / 0 |
| `docker stop` | 1 | 18,19 | 8 333 | 458 | 0 | 1,63 | 1,00 | 0 / 0 |
| `docker stop` | 2 | 19,85 | 9 258 | 466 | 1 (502) | 0,78 | 1,02 | 0 / 0 |
| rolling update, 14,8 с | обе | 24,77 | 13 125 | 530 | 0 | — | 1,00 | 0 / 0 |
Единственная ошибка 502 закрыта повтором клиента с тем же ключом, как и в lab3.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
@@ -234,19 +264,20 @@ Bucket приватный: в конфигурации сервера нет а
| `kill postgres` при загрузках | неподтверждённое убрано, подтверждённое цело | см. выше | очистка при следующем проходе после grace period |
| обрыв 4 загрузок клиентом | ничего не остаётся | S3 и `attachments` не изменились | — |
Индекс истории (`make explain`, 101 045 сообщений, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же:
Индекс истории (`make explain`, 91 163 сообщения, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же:
| Запрос | Буферов | Время |
| --- | --- | --- |
| первая страница | 63 | 0,255 мс |
| страница после 5000-го сообщения, keyset | 59 | 0,232 мс |
| та же страница через OFFSET | 5552 | 5,152 мс |
| keyset без индекса | 1454 | 3,202 мс |
| первая страница | 64 | 0,286 мс |
| страница после 5000-го сообщения, keyset | 59 | 0,291 мс |
| та же страница через OFFSET | 5551 | 6,266 мс |
| keyset без индекса | 1322 | 3,455 мс |
## Ограничения и следующие шаги
- **Не выдерживается** отказ `lb`, `postgres`, `redis`, `s3` или хоста: всё в одном экземпляре на одном Docker-хосте. У S3 один том без репликации, потеря `s3data` означает потерю файлов. Резервных копий нет.
- JPEG проверяется по структуре: порча внутри сжатых данных не обнаруживается, для этого нужно декодирование. У PNG содержимое проверяется полностью.
- JPEG с мусором внутри сжатых данных принимается, если настоящий декодер читает его как изображение: libjpeg считает это шумом, а не ошибкой. У PNG проверяются все данные, но смысл пикселей тоже не оценивается.
- Декодирование одного тяжёлого JPEG занимает до 330 МБ на реплику, поэтому лимит реплики 512 МБ. Они идут по одному, очередь создаёт задержку при массовой загрузке прогрессивных файлов.
- Ключ API может удалять объекты (ограничение прав SeaweedFS).
- Вложение `ready`, не прикреплённое ни к одному сообщению, хранится бессрочно: контракт разрешает прикрепить его позже, а механизма удаления в API нет.
- Сверка находит лишние объекты, но не обратный случай: строка `ready`, а объект потерян. Такое скачивание даст 503, автоматического обнаружения нет.
+2 -1
View File
@@ -90,7 +90,8 @@ services:
resources:
limits:
cpus: "1.0"
memory: 256M
# 120 МБ сам процесс и до 320 МБ на декодирование прогрессивного JPEG на 40 млн пикселей
memory: 512M
restart: unless-stopped
# миграции выполняет один контейнер до старта реплик, а не каждая реплика
+11 -11
View File
@@ -1,5 +1,5 @@
# Запуск из чистого clone на пустых volumes, публичный smoke
# дата: 2026-10-30T19:58Z, чистый clone
# дата: 2026-10-31T00:55Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make env
@@ -9,14 +9,14 @@ $ make env
$ docker compose --env-file .env config --quiet
$ docker compose --env-file .env up -d --build
Image mtusi-messenger:lab4 Built
Image mtusi-messenger-lb:lab4 Built
Image mtusi-messenger-s3:lab4 Built
Image mtusi-messenger:lab4 Built
Image mtusi-messenger:lab4 Built
Image mtusi-messenger:lab4 Built
Image mtusi-messenger-lb:lab4 Built
Network mtusi-messenger-lab4_storage Created
Image mtusi-messenger:lab4 Built
Network mtusi-messenger-lab4_data Created
Network mtusi-messenger-lab4_storage Created
Network mtusi-messenger-lab4_edge Created
Volume mtusi-messenger-lab4_redisdata Created
Volume mtusi-messenger-lab4_s3data Created
@@ -30,13 +30,13 @@ $ docker compose --env-file .env up -d --build
Container mtusi-messenger-lab4-janitor-1 Created
Container mtusi-messenger-lab4-api-2 Created
Container mtusi-messenger-lab4-lb-1 Created
Container mtusi-messenger-lab4-postgres-1 Started
Container mtusi-messenger-lab4-redis-1 Started
Container mtusi-messenger-lab4-s3-1 Started
Container mtusi-messenger-lab4-postgres-1 Healthy
Container mtusi-messenger-lab4-postgres-1 Started
Container mtusi-messenger-lab4-s3-1 Healthy
Container mtusi-messenger-lab4-migrate-1 Started
Container mtusi-messenger-lab4-postgres-1 Healthy
Container mtusi-messenger-lab4-s3-init-1 Started
Container mtusi-messenger-lab4-migrate-1 Started
Container mtusi-messenger-lab4-redis-1 Healthy
Container mtusi-messenger-lab4-migrate-1 Exited
Container mtusi-messenger-lab4-migrate-1 Exited
@@ -60,16 +60,16 @@ migrate mtusi-messenger:lab4 exited Exited (0) 16 seconds ago
postgres postgres:17.11-alpine running Up 22 seconds (healthy) 5432/tcp
redis redis:7.4.11-alpine running Up 22 seconds (healthy) 6379/tcp
s3 mtusi-messenger-s3:lab4 running Up 22 seconds (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
s3-init mtusi-messenger:lab4 exited Exited (0) 5 seconds ago
s3-init mtusi-messenger:lab4 exited Exited (0) 4 seconds ago
$ docker compose --env-file .env logs migrate s3-init
migrate-1 | применена: 0001_init.sql
migrate-1 | применена: 0002_idempotency.sql
migrate-1 | применена: 0003_attachments.sql
s3-init-1 | bucket создан: messenger-attachments
s3-init-1 | S3 ещё не готов: ReadTimeoutError
s3-init-1 | bucket уже есть: messenger-attachments
s3-init-1 | пробная запись прошла
migrate-1 | применена: 0001_init.sql
migrate-1 | применена: 0002_idempotency.sql
migrate-1 | применена: 0003_attachments.sql
$ make check
python3 scripts/check_contract.py
+3 -2
View File
@@ -1,8 +1,9 @@
# Сценарий защиты: файл, сообщение, второй участник, посторонний, прямой доступ к S3
# дата: 2026-10-30T19:58Z, чистый clone
# дата: 2026-10-31T00:55Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ python3 scripts/attachment_demo.py
$ make attachment-demo
python3 scripts/attachment_demo.py
загрузка: ready 111817 байт, sha256 99ea7533c441f79c
сообщение: 201 attachment_ids = 1
второй участник скачал: 200 image/png sha256 совпал: True
+67
View File
@@ -0,0 +1,67 @@
# Разбор изображений и сверка с Pillow внутри образа API
# дата: 2026-10-31T00:56Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make test-images
COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \
docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance'
test_cut_files (test_against_pillow.AgreementTest.test_cut_files) ... /usr/local/lib/python3.13/site-packages/PIL/TiffImagePlugin.py:982: UserWarning: Corrupt EXIF data. Expecting to read 4 bytes but only got 0.
warnings.warn(str(msg))
обрезка: принято 370, отвергнуто 2110, принято вопреки Pillow 0
ok
test_jpeg_with_headers_rebuilt (test_against_pillow.AgreementTest.test_jpeg_with_headers_rebuilt) ... JPEG с настоящими заголовками: принято 792, отвергнуто 8, принято вопреки Pillow 0
ok
test_png_chunks_shuffled (test_against_pillow.AgreementTest.test_png_chunks_shuffled) ... порядок блоков PNG: принято 0, отвергнуто 600, принято вопреки Pillow 0
ok
test_png_with_recomputed_crc (test_against_pillow.AgreementTest.test_png_with_recomputed_crc)
Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании. ... ok
test_random_bytes_changed (test_against_pillow.AgreementTest.test_random_bytes_changed) ... PNG с верными CRC: принято 1354, отвергнуто 146, принято вопреки Pillow 0
ok
test_every_valid_file_is_accepted (test_against_pillow.ValidFilesTest.test_every_valid_file_is_accepted) ... замена байтов: принято 2218, отвергнуто 3982, принято вопреки Pillow 0
ok
test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok
test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok
test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok
test_png_data_after_compressed_stream_in_zero_size (test_images.BrokenImagesTest.test_png_data_after_compressed_stream_in_zero_size) ... ok
test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok
test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok
test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok
test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok
test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok
test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok
test_big_frame_with_tiny_scan (test_images.JpegContentTest.test_big_frame_with_tiny_scan) ... ok
test_broken_frame_header (test_images.JpegContentTest.test_broken_frame_header) ... ok
test_scan_replaced_by_almost_nothing (test_images.JpegContentTest.test_scan_replaced_by_almost_nothing) ... ok
test_too_many_scans (test_images.JpegContentTest.test_too_many_scans) ... ok
test_truncated_with_end_marker_added (test_images.JpegContentTest.test_truncated_with_end_marker_added) ... ok
test_without_huffman_tables_like_mjpeg (test_images.JpegContentTest.test_without_huffman_tables_like_mjpeg) ... ok
test_without_quantization_tables (test_images.JpegContentTest.test_without_quantization_tables) ... ok
test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok
test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok
test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok
test_all_valid_filters (test_images.PngContentTest.test_all_valid_filters) ... ok
test_bad_filter_in_any_row (test_images.PngContentTest.test_bad_filter_in_any_row) ... ok
test_chunk_order (test_images.PngContentTest.test_chunk_order) ... ok
test_filter_check_crosses_inflate_blocks (test_images.PngContentTest.test_filter_check_crosses_inflate_blocks) ... ok
test_garbage_after_compressed_data (test_images.PngContentTest.test_garbage_after_compressed_data) ... ok
test_interlaced (test_images.PngContentTest.test_interlaced) ... ok
test_many_short_rows_are_checked_quickly (test_images.PngContentTest.test_many_short_rows_are_checked_quickly) ... ok
test_palette_rules (test_images.PngContentTest.test_palette_rules) ... ok
test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok
test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok
test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok
test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok
test_jpeg_without_image_data (test_images.ReviewCasesTest.test_jpeg_without_image_data) ... ok
test_png_with_invalid_filter_byte (test_images.ReviewCasesTest.test_png_with_invalid_filter_byte) ... ok
----------------------------------------------------------------------
Ran 40 tests in 0.952s
OK
+4 -19
View File
@@ -1,5 +1,5 @@
# Собственные тесты API и разбора изображений
# дата: 2026-10-30T19:58Z, чистый clone
# Собственные тесты API и вложений
# дата: 2026-10-31T00:55Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make student-test
@@ -26,6 +26,7 @@ test_outsider_looks_the_same_as_missing (test_attachments.AccessTest.test_outsid
test_variants (test_attachments.AccessTest.test_variants) ... ok
test_broken_images (test_attachments.ContentCheckTest.test_broken_images) ... ok
test_extension_is_not_trusted (test_attachments.ContentCheckTest.test_extension_is_not_trusted) ... ok
test_files_from_review (test_attachments.ContentCheckTest.test_files_from_review) ... ok
test_mime_spoofing (test_attachments.ContentCheckTest.test_mime_spoofing) ... ok
test_unsupported_content_type (test_attachments.ContentCheckTest.test_unsupported_content_type) ... ok
test_bad_filenames (test_attachments.FilenameTest.test_bad_filenames) ... ok
@@ -94,22 +95,6 @@ test_parallel_repeat_through_different_replicas (test_idempotency.IdempotencyTes
test_repeat_checks_access_again (test_idempotency.IdempotencyTest.test_repeat_checks_access_again) ... ok
test_repeat_returns_same_message (test_idempotency.IdempotencyTest.test_repeat_returns_same_message) ... ok
test_same_key_for_other_user_and_other_chat (test_idempotency.IdempotencyTest.test_same_key_for_other_user_and_other_chat) ... ok
test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok
test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok
test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok
test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok
test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok
test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok
test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok
test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok
test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok
test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok
test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok
test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok
test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok
test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok
test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok
test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok
test_chat_cursor_belongs_to_user (test_pagination.ChatPaginationTest.test_chat_cursor_belongs_to_user) ... ok
test_walk_chat_list (test_pagination.ChatPaginationTest.test_walk_chat_list) ... ok
test_bad_cursor (test_pagination.MessagePaginationTest.test_bad_cursor) ... ok
@@ -148,7 +133,7 @@ test_password_is_never_returned (test_validation.UserValidationTest.test_passwor
test_password_length_limits (test_validation.UserValidationTest.test_password_length_limits) ... ok
----------------------------------------------------------------------
Ran 142 tests in 7.240s
Ran 127 tests in 7.860s
OK
+19 -19
View File
@@ -1,15 +1,15 @@
# Сохранность: перезапуск всего стенда с сохранением volumes, включая оригинал файла
# дата: 2026-10-30T19:58Z, чистый clone
# дата: 2026-10-31T00:56Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
# до перезапуска
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:29.088370587Z
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:29.209140045Z
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:29.085001378Z
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:29.300703295Z
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:11.349641968Z
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:11.345301093Z
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:11.372245384Z
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:55:51.019629833Z
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:55:51.155422333Z
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:55:51.019948375Z
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:55:51.246447042Z
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:55:33.238815464Z
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:55:33.238242006Z
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:55:33.268518673Z
$ cat scripts/restart.sh
#!/bin/sh
@@ -33,13 +33,13 @@ Executing explicit persistence hook; hook output suppressed to avoid leaking sec
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# после перезапуска: новое время старта у всех контейнеров
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:43.982991844Z
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:44.040335636Z
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:43.669196927Z
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:43.367738094Z
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:43.452856427Z
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:43.413552302Z
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:44.201471136Z
/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:56:08.283900967Z
/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:56:08.204635217Z
/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:56:08.100580008Z
/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:56:07.638958341Z
/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:56:07.709906466Z
/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:56:07.679625675Z
/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:56:08.466819675Z
$ docker volume ls --filter name=mtusi-messenger-lab4
DRIVER VOLUME NAME
@@ -49,15 +49,15 @@ local mtusi-messenger-lab4_s3data
# повторный запуск миграций и создания bucket
$ docker compose --env-file .env run --rm --no-deps migrate
Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Creating
Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Created
Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Creating
Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Created
уже применена: 0001_init.sql
уже применена: 0002_idempotency.sql
уже применена: 0003_attachments.sql
$ docker compose --env-file .env run --rm --no-deps s3-init
Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Creating
Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Created
Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Creating
Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Created
bucket уже есть: messenger-attachments
пробная запись прошла
+27 -27
View File
@@ -1,88 +1,88 @@
# Публичный failover: файл загружен, обслужившая реплика остановлена, скачивание через другую; два прогона
# дата: 2026-10-30T19:59Z, чистый clone
# дата: 2026-10-31T00:56Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
## прогон 1
# реплики до отказа
NAME STATE STATUS
mtusi-messenger-lab4-api-1 running Up 36 seconds (healthy)
mtusi-messenger-lab4-api-2 running Up 36 seconds (healthy)
mtusi-messenger-lab4-api-1 running Up 38 seconds (healthy)
mtusi-messenger-lab4-api-2 running Up 38 seconds (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.97}
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 2.065}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# какой контейнер реально остановлен
NAME STATE STATUS
mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago
mtusi-messenger-lab4-api-2 running Up 52 seconds (healthy)
mtusi-messenger-lab4-api-1 running Up 53 seconds (healthy)
mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago
$ make restore
docker compose --env-file .env up -d --no-recreate --no-build api
Container mtusi-messenger-lab4-postgres-1 Running
Container mtusi-messenger-lab4-redis-1 Running
Container mtusi-messenger-lab4-s3-1 Running
Container mtusi-messenger-lab4-api-2 Running
Container mtusi-messenger-lab4-postgres-1 Running
Container mtusi-messenger-lab4-api-1 Running
Container mtusi-messenger-lab4-postgres-1 Waiting
Container mtusi-messenger-lab4-s3-1 Waiting
Container mtusi-messenger-lab4-s3-1 Healthy
Container mtusi-messenger-lab4-postgres-1 Healthy
Container mtusi-messenger-lab4-migrate-1 Starting
Container mtusi-messenger-lab4-s3-init-1 Starting
Container mtusi-messenger-lab4-migrate-1 Started
Container mtusi-messenger-lab4-s3-init-1 Started
Container mtusi-messenger-lab4-migrate-1 Waiting
Container mtusi-messenger-lab4-migrate-1 Started
Container mtusi-messenger-lab4-redis-1 Waiting
Container mtusi-messenger-lab4-s3-init-1 Waiting
Container mtusi-messenger-lab4-migrate-1 Waiting
Container mtusi-messenger-lab4-redis-1 Healthy
Container mtusi-messenger-lab4-s3-init-1 Exited
Container mtusi-messenger-lab4-migrate-1 Exited
Container mtusi-messenger-lab4-api-1 Starting
Container mtusi-messenger-lab4-api-1 Started
Container mtusi-messenger-lab4-s3-init-1 Exited
Container mtusi-messenger-lab4-api-2 Starting
Container mtusi-messenger-lab4-api-2 Started
BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh
готов: http://localhost:8080
## прогон 2
# реплики до отказа
NAME STATE STATUS
mtusi-messenger-lab4-api-1 running Up 4 seconds (healthy)
mtusi-messenger-lab4-api-2 running Up 58 seconds (healthy)
mtusi-messenger-lab4-api-1 running Up 59 seconds (healthy)
mtusi-messenger-lab4-api-2 running Up 4 seconds (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.731}
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 1.691}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# какой контейнер реально остановлен
NAME STATE STATUS
mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago
mtusi-messenger-lab4-api-2 running Up About a minute (healthy)
mtusi-messenger-lab4-api-1 running Up About a minute (healthy)
mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago
$ make restore
docker compose --env-file .env up -d --no-recreate --no-build api
Container mtusi-messenger-lab4-s3-1 Running
Container mtusi-messenger-lab4-postgres-1 Running
Container mtusi-messenger-lab4-redis-1 Running
Container mtusi-messenger-lab4-api-2 Running
Container mtusi-messenger-lab4-postgres-1 Waiting
Container mtusi-messenger-lab4-postgres-1 Running
Container mtusi-messenger-lab4-api-1 Running
Container mtusi-messenger-lab4-s3-1 Waiting
Container mtusi-messenger-lab4-s3-1 Healthy
Container mtusi-messenger-lab4-postgres-1 Waiting
Container mtusi-messenger-lab4-postgres-1 Healthy
Container mtusi-messenger-lab4-s3-1 Healthy
Container mtusi-messenger-lab4-migrate-1 Starting
Container mtusi-messenger-lab4-s3-init-1 Starting
Container mtusi-messenger-lab4-s3-init-1 Started
Container mtusi-messenger-lab4-migrate-1 Started
Container mtusi-messenger-lab4-s3-init-1 Started
Container mtusi-messenger-lab4-migrate-1 Waiting
Container mtusi-messenger-lab4-redis-1 Waiting
Container mtusi-messenger-lab4-s3-init-1 Waiting
Container mtusi-messenger-lab4-migrate-1 Waiting
Container mtusi-messenger-lab4-redis-1 Healthy
Container mtusi-messenger-lab4-migrate-1 Exited
Container mtusi-messenger-lab4-s3-init-1 Exited
Container mtusi-messenger-lab4-api-1 Starting
Container mtusi-messenger-lab4-api-1 Started
Container mtusi-messenger-lab4-migrate-1 Exited
Container mtusi-messenger-lab4-api-2 Starting
Container mtusi-messenger-lab4-api-2 Started
BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh
готов: http://localhost:8080
+3 -3
View File
@@ -1,10 +1,10 @@
# Остановка каждой реплики под нагрузкой (SIGTERM), полные данные в failover-each.json
# дата: 2026-10-30T20:00Z, чистый clone
# дата: 2026-10-31T00:57Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make failover-each
BASE_URL="http://localhost:8080" python3 scripts/chaos.py stop --output evidence/failover-each.json
{"seconds": 17.89, "successful_requests": 10761, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 601.6, "longest_gap_between_successes_s": 1.027, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": 12.886, "instances_seen": 2, "target": "b4e0f5de7608", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 0.9, "verify": {"confirmed": 10761, "in_history": 10761, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
{"seconds": 19.96, "successful_requests": 11872, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 594.9, "longest_gap_between_successes_s": 1.015, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 14.955, "instances_seen": 2, "target": "6f14dc16ebf3", "signal": "SIGTERM", "stop_command_s": 0.61, "excluded_by_lb_after_s": 1.51, "verify": {"confirmed": 11872, "in_history": 11872, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
{"seconds": 18.19, "successful_requests": 8333, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 458.1, "longest_gap_between_successes_s": 0.997, "first_success_after_action_s": 0.004, "last_success_on_target_after_action_s": 13.188, "instances_seen": 2, "target": "e0ce1c223b49", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 1.63, "verify": {"confirmed": 8333, "in_history": 8333, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
{"seconds": 19.85, "successful_requests": 9258, "failed_attempts": 1, "failed_statuses": [502], "successful_rps": 466.3, "longest_gap_between_successes_s": 1.016, "first_success_after_action_s": 0.005, "last_success_on_target_after_action_s": 14.853, "instances_seen": 2, "target": "6e7001b3af3a", "signal": "SIGTERM", "stop_command_s": 0.66, "excluded_by_lb_after_s": 0.78, "verify": {"confirmed": 9258, "in_history": 9258, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
PASS: подтверждённые сообщения на месте, дублей нет
+6 -6
View File
@@ -1,16 +1,16 @@
# Поочерёдная замена реплик под нагрузкой, полные данные в rolling-update.json
# дата: 2026-10-30T20:00Z, чистый clone
# дата: 2026-10-31T00:58Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
# образы до замены
/mtusi-messenger-lab4-api-1 sha256:693fe62509aa4bc5ff409c715e21da0f894
/mtusi-messenger-lab4-api-2 sha256:693fe62509aa4bc5ff409c715e21da0f894
/mtusi-messenger-lab4-api-1 sha256:53d2e279c4c191e566b6dd52082c532a7a4
/mtusi-messenger-lab4-api-2 sha256:53d2e279c4c191e566b6dd52082c532a7a4
$ make rolling-update APP_VERSION=2
BASE_URL="http://localhost:8080" python3 scripts/chaos.py rolling --output evidence/rolling-update.json
{"seconds": 25.51, "successful_requests": 17974, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 704.5, "longest_gap_between_successes_s": 1.001, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 15.51, "containers_before": {"b4e0f5de7608": "sha256:693fe62509aa", "6f14dc16ebf3": "sha256:693fe62509aa"}, "containers_after": {"abc646dd09cf": "sha256:bdbd0270135d", "d7f52b7d6c23": "sha256:bdbd0270135d"}, "app_version": "2", "verify": {"confirmed": 17974, "in_history": 17974, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
{"seconds": 24.77, "successful_requests": 13125, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 529.8, "longest_gap_between_successes_s": 0.995, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 14.77, "containers_before": {"e0ce1c223b49": "sha256:53d2e279c4c1", "6e7001b3af3a": "sha256:53d2e279c4c1"}, "containers_after": {"504924bd9076": "sha256:e71bfdb1c725", "ec77c0e85d5c": "sha256:e71bfdb1c725"}, "app_version": "2", "verify": {"confirmed": 13125, "in_history": 13125, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}}
PASS: подтверждённые сообщения на месте, дублей нет
# образы и версия после замены
/mtusi-messenger-lab4-api-3 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2
/mtusi-messenger-lab4-api-4 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2
/mtusi-messenger-lab4-api-3 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2
/mtusi-messenger-lab4-api-4 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2
+3 -3
View File
@@ -1,5 +1,5 @@
# Тесты отказов: сбой между S3 и БД, отказ S3, приватность bucket, истечение, отказ Redis и PostgreSQL, транзакции
# дата: 2026-10-30T20:01Z, чистый clone
# дата: 2026-10-31T00:58Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make test-failures
@@ -35,9 +35,9 @@ test_username_race_creates_one_row (test_transactions.TransactionTest.test_usern
test_valid_chat_is_committed_whole (test_transactions.TransactionTest.test_valid_chat_is_committed_whole) ... ok
----------------------------------------------------------------------
Ran 27 tests in 301.600s
Ran 27 tests in 310.107s
OK
подтверждено 6, в S3 без подтверждения 8, после очистки расхождений нет
подтверждено 3, в S3 без подтверждения 8, после очистки расхождений нет
+27 -17
View File
@@ -1,41 +1,46 @@
# Память при одновременных загрузках, полные данные в upload-peak.json
# дата: 2026-10-30T20:06Z, чистый clone
# Память при одновременных загрузках, полные данные последнего прогона в upload-peak.json
# дата: 2026-10-31T01:03Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
# пять прогонов подряд: один удачный ничего не доказывает
$ make upload-peak
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 116.9, "cgroup_peak_mib": 98.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.3}}}
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.29, "slowest_upload_s": 1.29, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 123.8, "cgroup_peak_mib": 160.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 160.2}}}
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.79, "slowest_upload_s": 3.78, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 258.8}}}
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}}
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.53, "slowest_upload_s": 1.53, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 125.7, "cgroup_peak_mib": 165.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.8, "cgroup_peak_mib": 156.3}}}
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.65, "slowest_upload_s": 6.64, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.6, "cgroup_peak_mib": 269.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.5, "cgroup_peak_mib": 270.6}}}
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.47, "slowest_upload_s": 1.47, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 439.9, "cgroup_peak_mib": 431.0}}}
PASS: все загрузки успешны
$ make upload-peak
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.76, "slowest_upload_s": 1.76, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.3, "cgroup_peak_mib": 110.6}}}
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.32, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.0, "cgroup_peak_mib": 161.9}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 158.7}}}
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.88, "slowest_upload_s": 3.87, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.2, "cgroup_peak_mib": 256.4}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.8, "cgroup_peak_mib": 256.5}}}
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 98.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 109.0}}}
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.49, "slowest_upload_s": 1.49, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 168.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 168.8}}}
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.89, "slowest_upload_s": 4.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.6}}}
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.42, "slowest_upload_s": 1.42, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 435.1, "cgroup_peak_mib": 426.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 435.3, "cgroup_peak_mib": 427.2}}}
PASS: все загрузки успешны
$ make upload-peak
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.83, "slowest_upload_s": 1.83, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 99.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.6}}}
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.34, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.2, "cgroup_peak_mib": 176.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 168.9}}}
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.48, "slowest_upload_s": 4.48, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.0, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 256.5}}}
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.17, "slowest_upload_s": 0.17, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 110.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}}
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.6, "slowest_upload_s": 1.6, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 161.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 163.2}}}
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.01, "slowest_upload_s": 7.0, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 129.6, "cgroup_peak_mib": 272.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.0, "cgroup_peak_mib": 273.6}}}
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.35, "slowest_upload_s": 1.35, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.4, "cgroup_peak_mib": 429.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.9, "cgroup_peak_mib": 430.5}}}
PASS: все загрузки успешны
$ make upload-peak
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.8}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 98.4}}}
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.92, "slowest_upload_s": 2.92, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.6, "cgroup_peak_mib": 175.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.4, "cgroup_peak_mib": 163.7}}}
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.3, "slowest_upload_s": 6.29, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 129.2, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 256.1}}}
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.15, "slowest_upload_s": 0.15, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 119.4, "cgroup_peak_mib": 112.6}}}
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.33, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 160.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 161.4}}}
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.19, "slowest_upload_s": 7.18, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 266.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.7, "cgroup_peak_mib": 267.5}}}
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.31, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.9, "cgroup_peak_mib": 429.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.1}}}
PASS: все загрузки успешны
$ make upload-peak
BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json
{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.48, "slowest_upload_s": 0.48, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.5, "cgroup_peak_mib": 110.2}}}
{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 3.87, "slowest_upload_s": 3.87, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 163.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.1, "cgroup_peak_mib": 164.1}}}
{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.43, "slowest_upload_s": 6.42, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 127.3, "cgroup_peak_mib": 256.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.9, "cgroup_peak_mib": 256.0}}}
{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 116.6, "cgroup_peak_mib": 110.2}}}
{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.1, "slowest_upload_s": 2.09, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 166.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.5, "cgroup_peak_mib": 160.5}}}
{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 5.88, "slowest_upload_s": 5.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 274.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 128.3, "cgroup_peak_mib": 273.9}}}
{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.45, "slowest_upload_s": 1.44, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.6, "cgroup_peak_mib": 433.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 437.3, "cgroup_peak_mib": 433.0}}}
PASS: все загрузки успешны
# S3 за все прогоны: перезапуски и OOM
@@ -43,3 +48,8 @@ restarts=0 oom=false
oom 0
oom_kill 0
oom_group_kill 0
# реплики API за все прогоны: OOM
restarts=0 oom=false
oom_kill 0
restarts=0 oom=false
oom_kill 0
+13 -12
View File
@@ -1,5 +1,5 @@
# Контейнеры: лимиты, порты, сети, секреты, права ключа S3
# дата: 2026-10-30T20:07Z, чистый clone
# дата: 2026-10-31T01:05Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ docker compose ps # опубликован только lb, консоль S3 наружу не открыта
@@ -16,8 +16,8 @@ $ grep -c container_name compose.yaml
0
# лимиты CPU (в наносекундах на секунду) и памяти (байт)
/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=268435456
/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=268435456
/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=536870912
/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=536870912
/mtusi-messenger-lab4-janitor-1 cpus=250000000 memory=134217728
/mtusi-messenger-lab4-lb-1 cpus=500000000 memory=134217728
/mtusi-messenger-lab4-postgres-1 cpus=1000000000 memory=536870912
@@ -32,7 +32,7 @@ s3 mtusi-messenger-lab4_storage
postgres mtusi-messenger-lab4_data
redis mtusi-messenger-lab4_data
$ docker exec abc646dd09cf id
$ docker exec 504924bd9076 id
uid=10001(app) gid=10001(app) groups=10001(app)
$ docker exec <api> ls /run/secrets # ключа администратора S3 у API нет
@@ -41,20 +41,20 @@ database_url
s3_access_key_id
s3_secret_access_key
$ docker exec <api> env | grep -ci "password\|postgresql://\|redis://\|secret_access_key="
$ docker exec <api> env | grep -ci "password\|postgresql://\|redis://"
0
$ docker compose --env-file .env images
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago
mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago
mtusi-messenger-lab4-janitor-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 30 minutes ago
mtusi-messenger-lab4-migrate-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago
mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago
mtusi-messenger-lab4-janitor-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 5 hours ago
mtusi-messenger-lab4-migrate-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
mtusi-messenger-lab4-postgres-1 postgres 17.11-alpine linux/arm64/v8 25a89970a832 291MB 6 weeks ago
mtusi-messenger-lab4-redis-1 redis 7.4.11-alpine linux/arm64/v8 ec4f171e9ff0 39.5MB 6 weeks ago
mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 31 minutes ago
mtusi-messenger-lab4-s3-init-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago
mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 5 hours ago
mtusi-messenger-lab4-s3-init-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago
$ docker exec <api> pip freeze
annotated-doc==0.0.5
@@ -71,6 +71,7 @@ h11==0.16.0
idna==3.20
jmespath==1.1.0
opentelemetry-api==1.45.1
pillow==13.0.0
psycopg==3.3.6
psycopg-binary==3.3.6
psycopg-pool==3.3.3
+3 -3
View File
@@ -1,12 +1,12 @@
# SIGTERM через балансировщик
# дата: 2026-10-30T20:07Z, чистый clone
# дата: 2026-10-31T01:05Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ python3 scripts/sigterm_check.py
$ docker kill --signal=SIGTERM abc646dd09cf
$ docker kill --signal=SIGTERM 504924bd9076
новых запросов после SIGTERM: 20, попало на останавливаемую реплику: 0
начатые до SIGTERM запросы: ['HTTP/1.1 201 Created']
из них завершила останавливаемая реплика: 3
процесс завершился за 1.73 с, код выхода 0
процесс завершился за 1.57 с, код выхода 0
PASS: остановка корректная и укладывается в 10 секунд
+35 -35
View File
@@ -1,5 +1,5 @@
# Индекс истории: EXPLAIN (ANALYZE, BUFFERS), объём данных в первой таблице вывода
# дата: 2026-10-30T20:07Z, чистый clone
# дата: 2026-10-31T01:05Z, чистый clone
# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0
$ make explain
@@ -7,22 +7,22 @@ $ make explain
== Объём данных
messages_total | messages_in_chat | table_size | index_size
----------------+------------------+------------+------------
101045 | 10000 | 11 MB | 9544 kB
91163 | 10000 | 10120 kB | 8968 kB
(1 row)
== 1. Первая страница (limit 50, запрос берёт 51 строку)
QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.42..729.05 rows=51 width=112) (actual time=0.028..0.228 rows=51 loops=1)
Buffers: shared hit=63
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.023..0.219 rows=51 loops=1)
Limit (cost=0.42..726.39 rows=51 width=112) (actual time=0.031..0.253 rows=51 loops=1)
Buffers: shared hit=64
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.031..0.249 rows=51 loops=1)
Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid)
Buffers: shared hit=63
Buffers: shared hit=64
SubPlan 1
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51)
Buffers: shared hit=54
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51)
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51)
Sort Key: a."position"
Sort Method: quicksort Memory: 25kB
Buffers: shared hit=54
@@ -33,24 +33,24 @@ $ make explain
Index Cond: (message_id = messages.id)
Buffers: shared hit=51
Planning:
Buffers: shared hit=76
Planning Time: 0.174 ms
Execution Time: 0.255 ms
Buffers: shared hit=78
Planning Time: 0.235 ms
Execution Time: 0.286 ms
(22 rows)
== 2. Страница из середины истории: keyset после 5000-го сообщения
QUERY PLAN
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.42..738.40 rows=51 width=112) (actual time=0.013..0.198 rows=51 loops=1)
Limit (cost=0.42..735.98 rows=51 width=112) (actual time=0.017..0.251 rows=51 loops=1)
Buffers: shared hit=59
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..101986.67 rows=7048 width=112) (actual time=0.013..0.196 rows=51 loops=1)
Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid)))
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..98594.86 rows=6836 width=112) (actual time=0.017..0.248 rows=51 loops=1)
Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid)))
Buffers: shared hit=59
SubPlan 1
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.003..0.003 rows=1 loops=51)
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51)
Buffers: shared hit=51
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51)
-> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51)
Sort Key: a."position"
Sort Method: quicksort Memory: 25kB
Buffers: shared hit=51
@@ -60,19 +60,19 @@ $ make explain
-> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=51)
Index Cond: (message_id = messages.id)
Buffers: shared hit=51
Planning Time: 0.045 ms
Execution Time: 0.232 ms
Planning Time: 0.052 ms
Execution Time: 0.291 ms
(20 rows)
== 3. Та же страница через OFFSET (так делать не стали)
QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=71434.79..72163.43 rows=51 width=112) (actual time=5.082..5.132 rows=51 loops=1)
Buffers: shared hit=5552
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.012..5.035 rows=5051 loops=1)
Limit (cost=71174.26..71900.24 rows=51 width=112) (actual time=6.185..6.246 rows=51 loops=1)
Buffers: shared hit=5551
-> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.012..6.130 rows=5051 loops=1)
Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid)
Buffers: shared hit=5552
Buffers: shared hit=5551
SubPlan 1
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=5051)
Buffers: shared hit=5051
@@ -86,26 +86,26 @@ $ make explain
-> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=5051)
Index Cond: (message_id = messages.id)
Buffers: shared hit=5051
Planning Time: 0.032 ms
Execution Time: 5.152 ms
Planning Time: 0.038 ms
Execution Time: 6.266 ms
(20 rows)
== 4. Запрос из пункта 2 без индекса messages_chat_history_idx (DROP INDEX внутри транзакции с ROLLBACK)
QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=3400.42..4104.22 rows=51 width=112) (actual time=3.126..3.183 rows=51 loops=1)
Buffers: shared hit=1454
-> Result (cost=3400.42..100662.45 rows=7048 width=112) (actual time=3.125..3.180 rows=51 loops=1)
Buffers: shared hit=1454
-> Sort (cost=3400.42..3418.04 rows=7048 width=80) (actual time=3.098..3.100 rows=51 loops=1)
Limit (cost=3088.42..3792.21 rows=51 width=112) (actual time=3.362..3.425 rows=51 loops=1)
Buffers: shared hit=1322
-> Result (cost=3088.42..97424.85 rows=6836 width=112) (actual time=3.362..3.422 rows=51 loops=1)
Buffers: shared hit=1322
-> Sort (cost=3088.42..3105.51 rows=6836 width=80) (actual time=3.343..3.345 rows=51 loops=1)
Sort Key: messages.created_at, messages.id
Sort Method: top-N heapsort Memory: 31kB
Buffers: shared hit=1403
-> Seq Scan on messages (cost=0.00..3165.29 rows=7048 width=80) (actual time=1.800..2.874 rows=5000 loops=1)
Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid)))
Rows Removed by Filter: 96045
Buffers: shared hit=1397
Buffers: shared hit=1271
-> Seq Scan on messages (cost=0.00..2860.35 rows=6836 width=80) (actual time=1.866..3.076 rows=5000 loops=1)
Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid)))
Rows Removed by Filter: 86163
Buffers: shared hit=1265
SubPlan 1
-> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=51)
Buffers: shared hit=51
@@ -121,8 +121,8 @@ $ make explain
Buffers: shared hit=51
Planning:
Buffers: shared hit=4
Planning Time: 0.050 ms
Execution Time: 3.202 ms
Planning Time: 0.057 ms
Execution Time: 3.455 ms
(29 rows)
+25 -23
View File
@@ -3,22 +3,22 @@
"mode": "stop",
"rounds": [
{
"seconds": 17.89,
"successful_requests": 10761,
"seconds": 18.19,
"successful_requests": 8333,
"failed_attempts": 0,
"failed_statuses": [],
"successful_rps": 601.6,
"longest_gap_between_successes_s": 1.027,
"first_success_after_action_s": 0.003,
"last_success_on_target_after_action_s": 12.886,
"successful_rps": 458.1,
"longest_gap_between_successes_s": 0.997,
"first_success_after_action_s": 0.004,
"last_success_on_target_after_action_s": 13.188,
"instances_seen": 2,
"target": "b4e0f5de7608",
"target": "e0ce1c223b49",
"signal": "SIGTERM",
"stop_command_s": 0.59,
"excluded_by_lb_after_s": 0.9,
"excluded_by_lb_after_s": 1.63,
"verify": {
"confirmed": 10761,
"in_history": 10761,
"confirmed": 8333,
"in_history": 8333,
"lost_confirmed": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
@@ -26,22 +26,24 @@
}
},
{
"seconds": 19.96,
"successful_requests": 11872,
"failed_attempts": 0,
"failed_statuses": [],
"successful_rps": 594.9,
"longest_gap_between_successes_s": 1.015,
"first_success_after_action_s": 0.0,
"last_success_on_target_after_action_s": 14.955,
"seconds": 19.85,
"successful_requests": 9258,
"failed_attempts": 1,
"failed_statuses": [
502
],
"successful_rps": 466.3,
"longest_gap_between_successes_s": 1.016,
"first_success_after_action_s": 0.005,
"last_success_on_target_after_action_s": 14.853,
"instances_seen": 2,
"target": "6f14dc16ebf3",
"target": "6e7001b3af3a",
"signal": "SIGTERM",
"stop_command_s": 0.61,
"excluded_by_lb_after_s": 1.51,
"stop_command_s": 0.66,
"excluded_by_lb_after_s": 0.78,
"verify": {
"confirmed": 11872,
"in_history": 11872,
"confirmed": 9258,
"in_history": 9258,
"lost_confirmed": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
+12 -12
View File
@@ -3,28 +3,28 @@
"mode": "rolling",
"rounds": [
{
"seconds": 25.51,
"successful_requests": 17974,
"seconds": 24.77,
"successful_requests": 13125,
"failed_attempts": 0,
"failed_statuses": [],
"successful_rps": 704.5,
"longest_gap_between_successes_s": 1.001,
"first_success_after_action_s": 0.003,
"successful_rps": 529.8,
"longest_gap_between_successes_s": 0.995,
"first_success_after_action_s": 0.0,
"last_success_on_target_after_action_s": null,
"instances_seen": 4,
"update_seconds": 15.51,
"update_seconds": 14.77,
"containers_before": {
"b4e0f5de7608": "sha256:693fe62509aa",
"6f14dc16ebf3": "sha256:693fe62509aa"
"e0ce1c223b49": "sha256:53d2e279c4c1",
"6e7001b3af3a": "sha256:53d2e279c4c1"
},
"containers_after": {
"abc646dd09cf": "sha256:bdbd0270135d",
"d7f52b7d6c23": "sha256:bdbd0270135d"
"504924bd9076": "sha256:e71bfdb1c725",
"ec77c0e85d5c": "sha256:e71bfdb1c725"
},
"app_version": "2",
"verify": {
"confirmed": 17974,
"in_history": 17974,
"confirmed": 13125,
"in_history": 13125,
"lost_confirmed": 0,
"duplicate_ids": 0,
"duplicate_texts": 0,
+49 -26
View File
@@ -1,74 +1,97 @@
{
"limit_per_replica_mib": 256,
"limit_per_replica_mib": 512,
"replicas": 2,
"levels": [
{
"parallel_uploads": 0,
"memory": {
"abc646dd09cf": {
"process_peak_rss_mib": 117.2,
"504924bd9076": {
"process_peak_rss_mib": 116.8,
"cgroup_peak_mib": 110.5
},
"d7f52b7d6c23": {
"process_peak_rss_mib": 117.1,
"ec77c0e85d5c": {
"process_peak_rss_mib": 116.6,
"cgroup_peak_mib": 110.2
}
}
},
{
"file": "PNG 10 MiB",
"parallel_uploads": 1,
"file_bytes": 10481664,
"seconds": 0.48,
"slowest_upload_s": 0.48,
"seconds": 0.14,
"slowest_upload_s": 0.14,
"statuses": {
"201": 1
},
"memory": {
"abc646dd09cf": {
"504924bd9076": {
"process_peak_rss_mib": 117.2,
"cgroup_peak_mib": 110.5
},
"d7f52b7d6c23": {
"process_peak_rss_mib": 117.5,
"ec77c0e85d5c": {
"process_peak_rss_mib": 116.6,
"cgroup_peak_mib": 110.2
}
}
},
{
"file": "PNG 10 MiB",
"parallel_uploads": 10,
"file_bytes": 10481664,
"seconds": 3.87,
"slowest_upload_s": 3.87,
"seconds": 2.1,
"slowest_upload_s": 2.09,
"statuses": {
"201": 10
},
"memory": {
"abc646dd09cf": {
"process_peak_rss_mib": 124.3,
"cgroup_peak_mib": 163.7
"504924bd9076": {
"process_peak_rss_mib": 123.7,
"cgroup_peak_mib": 166.6
},
"d7f52b7d6c23": {
"process_peak_rss_mib": 124.1,
"cgroup_peak_mib": 164.1
"ec77c0e85d5c": {
"process_peak_rss_mib": 123.5,
"cgroup_peak_mib": 160.5
}
}
},
{
"file": "PNG 10 MiB",
"parallel_uploads": 30,
"file_bytes": 10481664,
"seconds": 6.43,
"slowest_upload_s": 6.42,
"seconds": 5.88,
"slowest_upload_s": 5.88,
"statuses": {
"201": 30
},
"memory": {
"abc646dd09cf": {
"process_peak_rss_mib": 127.3,
"cgroup_peak_mib": 256.0
"504924bd9076": {
"process_peak_rss_mib": 128.8,
"cgroup_peak_mib": 274.4
},
"d7f52b7d6c23": {
"process_peak_rss_mib": 126.9,
"cgroup_peak_mib": 256.0
"ec77c0e85d5c": {
"process_peak_rss_mib": 128.3,
"cgroup_peak_mib": 273.9
}
}
},
{
"file": "прогрессивный CMYK JPEG, 40 млн пикселей",
"parallel_uploads": 10,
"file_bytes": 2642657,
"seconds": 1.45,
"slowest_upload_s": 1.44,
"statuses": {
"201": 10
},
"memory": {
"504924bd9076": {
"process_peak_rss_mib": 437.6,
"cgroup_peak_mib": 433.8
},
"ec77c0e85d5c": {
"process_peak_rss_mib": 437.3,
"cgroup_peak_mib": 433.0
}
}
}
+1
View File
@@ -5,6 +5,7 @@ psycopg[binary,pool]==3.3.6
redis==8.1.0
argon2-cffi==25.1.0
boto3==1.43.122
pillow==13.0.0
# Транзитивные, зафиксированы по pip freeze в python:3.13.16-slim-bookworm
annotated-doc==0.0.5
annotated-types==0.8.0
+28 -5
View File
@@ -1,9 +1,12 @@
#!/usr/bin/env python3
"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB.
"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB и самых тяжёлых JPEG.
Перед замером реплики перезапускаются, чтобы обнулить VmHWM (пик памяти процесса). Уровни идут по
возрастанию, поэтому VmHWM после каждого уровня показывает пик этого уровня. memory.peak контейнера
больше: в него входит кэш страниц временных файлов, который система может освободить.
Последний уровень — прогрессивный CMYK JPEG на 40 млн пикселей: декодер держит коэффициенты всего
изображения, это худший случай для памяти. Загрузки идут параллельно, декодирование по одному на реплику.
"""
import argparse
import json
@@ -20,6 +23,13 @@ from api import call, new_chat, new_user
from samples import noisy_png
LEVELS = (1, 10, 30)
HEAVY_UPLOADS = 10
MAKE_HEAVY_JPEG = """
import sys
from PIL import Image
image = Image.effect_noise((7300 // 16, 5470 // 16), 40).resize((7300, 5470)).convert("CMYK")
image.save(sys.stdout.buffer, "JPEG", quality=50, progressive=True)
"""
def compose(*args):
@@ -53,6 +63,12 @@ def wait_ready():
time.sleep(0.2)
def heavy_jpeg():
# в отдельном контейнере: создание такого файла требует много памяти, реплику это не должно затрагивать
command = ["docker", "run", "--rm", "-i", "--memory=2g", "--entrypoint", "python", "mtusi-messenger:lab4", "-"]
return subprocess.run(command, input=MAKE_HEAVY_JPEG.encode(), check=True, capture_output=True).stdout
def main():
parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
parser.add_argument("--output")
@@ -64,20 +80,23 @@ def main():
chat = new_chat(user)
path = "/api/v1/chats/%s/attachments?filename=peak.png" % urllib.parse.quote(chat["id"])
levels = [{"parallel_uploads": 0, "memory": memory()}]
for level in LEVELS:
def run_level(level, content, content_type, label):
started = time.monotonic()
def post(_):
sent = time.monotonic()
status = call("POST", path, raw=data, user=user, headers={"Content-Type": "image/png"}, timeout=60)[0]
headers = {"Content-Type": content_type}
status = call("POST", path, raw=content, user=user, headers=headers, timeout=60)[0]
return status, time.monotonic() - sent
with ThreadPoolExecutor(max_workers=level) as pool:
results = list(pool.map(post, range(level)))
statuses = [status for status, _ in results]
entry = {
"file": label,
"parallel_uploads": level,
"file_bytes": len(data),
"file_bytes": len(content),
"seconds": round(time.monotonic() - started, 2),
"slowest_upload_s": round(max(took for _, took in results), 2),
"statuses": {str(s): statuses.count(s) for s in sorted(set(statuses))},
@@ -85,7 +104,11 @@ def main():
}
print(json.dumps(entry, ensure_ascii=False))
levels.append(entry)
report = {"limit_per_replica_mib": 256, "replicas": 2, "levels": levels}
for level in LEVELS:
run_level(level, data, "image/png", "PNG 10 MiB")
run_level(HEAVY_UPLOADS, heavy_jpeg(), "image/jpeg", "прогрессивный CMYK JPEG, 40 млн пикселей")
report = {"limit_per_replica_mib": 512, "replicas": 2, "levels": levels}
if args.output:
Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
if any(set(level.get("statuses", {"201": 1})) != {"201"} for level in levels):
+147 -52
View File
@@ -1,11 +1,19 @@
"""Проверка PNG и JPEG по содержимому. Файл читается блоками, пиксели в память не распаковываются.
"""Проверка PNG и JPEG по содержимому, память ограничена.
Размер изображения берётся из заголовка до любой работы с данными, поэтому decompression bomb
отсекается сразу. Данные PNG проверяются потоково: CRC каждого блока и распаковка с выбрасыванием
результата. У JPEG проверяется структура маркеров, но не содержимое сжатых данных: порча внутри скана
этой проверкой не обнаруживается.
отсекается сразу.
PNG проверяется потоково без декодера: CRC блоков, порядок блоков, распаковка с выбрасыванием
результата, байт фильтра в начале каждой строки, точный объём данных. Память не зависит от размера
изображения, поэтому Pillow здесь не нужен.
JPEG так проверить нельзя: чтобы понять, что в скане настоящие данные, их надо декодировать. Поэтому
сначала идёт быстрый разбор маркеров, а потом настоящий декодер с уменьшением в 8 раз. Обычный JPEG
при этом занимает несколько МБ. Прогрессивный хранит коэффициенты всего изображения, это до 2 байт на
отсчёт, то есть до 320 МБ на 40 млн пикселей CMYK, поэтому декодирование идёт по одному на реплику.
"""
import struct
import threading
import zlib
BLOCK = 64 * 1024
@@ -15,6 +23,17 @@ JPEG_SIGNATURE = b"\xff\xd8\xff"
PNG_COLOR_TYPES = {0: ((1, 2, 4, 8, 16), 1), 2: ((8, 16), 3), 3: ((1, 2, 4, 8), 1), 4: ((8, 16), 2), 6: ((8, 16), 4)}
# все маркеры SOF, кроме DHT (C4), JPG (C8) и DAC (CC), которые попадают в тот же диапазон
JPEG_SOF = set(range(0xC0, 0xD0)) - {0xC4, 0xC8, 0xCC}
# кодирование Хаффмана: минимум 1 бит на блок. У арифметического (C9-CF) нижней границы нет
JPEG_HUFFMAN_SOF = {0xC0, 0xC1, 0xC2}
# каждый скан заставляет декодер пройти всё изображение, а в 10 MiB их можно уместить тысячи;
# настоящим файлам хватает нескольких десятков
MAX_JPEG_SCANS = 100
PNG_CRITICAL_CHUNKS = {b"IHDR", b"PLTE", b"IDAT", b"IEND"}
# проходы Adam7: первая колонка, первая строка, шаг по колонкам, шаг по строкам
ADAM7_PASSES = ((0, 0, 8, 8), (4, 0, 8, 8), (0, 4, 4, 8), (2, 0, 4, 4), (0, 2, 2, 4), (1, 0, 2, 2), (0, 1, 1, 2))
# см. начало файла: не больше одного тяжёлого декодирования на реплику
decode_lock = threading.Lock()
class NotAnImage(Exception):
@@ -35,7 +54,8 @@ def inspect(file, max_pixels: int) -> str:
return "image/png"
if head[:3] == JPEG_SIGNATURE:
file.seek(2)
check_jpeg(file, max_pixels)
check_jpeg_structure(file, max_pixels)
decode_jpeg(file)
return "image/jpeg"
except (struct.error, zlib.error, ValueError) as error:
raise NotAnImage() from error
@@ -49,22 +69,65 @@ def check_size(width: int, height: int, max_pixels: int) -> None:
raise TooManyPixels()
def png_raw_size(width: int, height: int, bits_per_pixel: int) -> int:
"""Размер распакованных данных без чересстрочности: строки плюс байт фильтра на каждую."""
return height * (1 + (width * bits_per_pixel + 7) // 8)
def png_passes(width: int, height: int, bits_per_pixel: int, interlaced: bool) -> list:
"""Группы строк распакованных данных: (длина строки вместе с байтом фильтра, число строк)."""
if not interlaced:
return [(1 + (width * bits_per_pixel + 7) // 8, height)]
passes = []
for column, row, column_step, row_step in ADAM7_PASSES:
columns = (width - column + column_step - 1) // column_step
rows = (height - row + row_step - 1) // row_step
if columns > 0 and rows > 0: # у маленького изображения часть проходов пуста
passes.append((1 + (columns * bits_per_pixel + 7) // 8, rows))
return passes
class ScanlineFilters:
"""Следит за байтами фильтра в распакованном потоке, сами данные не хранит."""
def __init__(self, passes: list):
self.passes = iter(passes)
self.position = 0 # смещение начала следующего блока в распакованном потоке
self.next_filter = 0 # смещение следующего байта фильтра
self.row_size, self.rows_left = next(self.passes, (0, 0))
self.expected = sum(size * rows for size, rows in passes)
def feed(self, block: bytes) -> None:
end = self.position + len(block)
if end > self.expected:
raise NotAnImage()
while self.rows_left and self.next_filter < end:
start = self.next_filter - self.position
rows = min(self.rows_left, (len(block) - start + self.row_size - 1) // self.row_size)
# срез вместо цикла: строк может быть 40 млн, а Python проходит их слишком долго
if max(block[start:start + rows * self.row_size:self.row_size]) > 4:
raise NotAnImage()
self.next_filter += rows * self.row_size
self.rows_left -= rows
if not self.rows_left:
self.row_size, self.rows_left = next(self.passes, (0, 0))
self.position = end
def check_png(file, max_pixels: int) -> None:
inflater = zlib.decompressobj()
header = None
limit = 0
unpacked = 0
interlaced = False
filters = None
seen_palette = False
seen_data = False
data_finished = False
color = None
while True:
length, kind = struct.unpack(">I4s", read_exact(file, 8))
if length >= 2**31 or (header is None and kind != b"IHDR"):
if length >= 2**31 or not kind.isalpha() or (filters is None and kind != b"IHDR"):
raise NotAnImage()
# заглавная первая буква значит «без понимания этого блока файл читать нельзя»
if kind[0] < 0x61 and kind not in PNG_CRITICAL_CHUNKS:
raise NotAnImage()
if kind == b"IDAT":
if data_finished or (color == 3 and not seen_palette):
raise NotAnImage()
elif seen_data:
data_finished = True # блоки IDAT должны идти подряд
crc = zlib.crc32(kind)
remaining = length
body = b""
@@ -74,53 +137,51 @@ def check_png(file, max_pixels: int) -> None:
raise NotAnImage()
remaining -= len(block)
crc = zlib.crc32(block, crc)
if kind == b"IHDR":
if kind == b"IHDR" and len(body) <= 13:
body += block
elif kind == b"IDAT":
seen_data = True
unpacked += inflate(inflater, block, limit - unpacked)
inflate(inflater, block, filters)
if struct.unpack(">I", read_exact(file, 4))[0] != crc:
raise NotAnImage()
if kind == b"IHDR":
if header is not None or length != 13:
if filters is not None or length != 13:
raise NotAnImage()
header = struct.unpack(">IIBBBBB", body)
width, height, depth, color, compression, filtering, interlace = header
width, height, depth, color, compression, filtering, interlace = struct.unpack(">IIBBBBB", body)
depths, channels = PNG_COLOR_TYPES.get(color, ((), 0))
if depth not in depths or compression != 0 or filtering != 0 or interlace not in (0, 1):
raise NotAnImage()
check_size(width, height, max_pixels)
interlaced = interlace == 1
limit = png_raw_size(width, height, depth * channels)
if interlaced:
# чересстрочная запись длиннее: у каждого из семи проходов свои байты фильтра
limit += 7 * height + limit // 4
filters = ScanlineFilters(png_passes(width, height, depth * channels, interlace == 1))
elif kind == b"PLTE":
if seen_palette or seen_data or color in (0, 4) or length == 0 or length % 3 or length > 768:
raise NotAnImage()
seen_palette = True
elif kind == b"IEND":
if length != 0:
raise NotAnImage()
break
if not seen_data or not inflater.eof or file.read(1):
if not seen_data or not inflater.eof or inflater.unused_data or file.read(1):
raise NotAnImage()
if not interlaced and unpacked != limit:
if filters.position != filters.expected:
raise NotAnImage()
def inflate(inflater, block: bytes, allowed: int) -> int:
"""Распаковывает блок, не накапливая результат. Возвращает, сколько байт получилось."""
total = 0
def inflate(inflater, block: bytes, filters: ScanlineFilters) -> None:
"""Распаковывает блок и проверяет строки, не накапливая результат."""
while block and not inflater.eof:
chunk = inflater.decompress(block, BLOCK)
total += len(chunk)
if total > allowed:
raise NotAnImage()
filters.feed(inflater.decompress(block, BLOCK))
block = inflater.unconsumed_tail
return total
def check_jpeg(file, max_pixels: int) -> None:
def check_jpeg_structure(file, max_pixels: int) -> None:
"""Быстрая проверка маркеров: размер, число сканов, объём данных. Содержимое проверит декодер."""
file.seek(0, 2)
end = file.tell()
file.seek(2)
seen_frame = False
seen_scan = False
frame = None
scans = 0
scan_bytes = 0
while True:
if read_exact(file, 1) != b"\xff":
raise NotAnImage()
@@ -128,9 +189,7 @@ def check_jpeg(file, max_pixels: int) -> None:
while marker == 0xFF: # перед маркером разрешены байты-заполнители
marker = read_exact(file, 1)[0]
if marker == 0xD9: # конец изображения; данные после него допустимы, так делают камеры
if seen_scan:
return
raise NotAnImage()
break
if 0xD0 <= marker <= 0xD7 or marker == 0x01:
continue
if marker == 0x00 or marker == 0xD8:
@@ -138,24 +197,44 @@ def check_jpeg(file, max_pixels: int) -> None:
length = struct.unpack(">H", read_exact(file, 2))[0]
if length < 2 or file.tell() + length - 2 > end:
raise NotAnImage()
segment = read_exact(file, length - 2)
if marker in JPEG_SOF:
if seen_frame or length < 8:
if frame is not None:
raise NotAnImage()
height, width = struct.unpack(">xHH", read_exact(file, 5))
check_size(width, height, max_pixels)
seen_frame = True
file.seek(length - 7, 1)
else:
file.seek(length - 2, 1)
frame = marker, parse_frame(segment, max_pixels)
if marker == 0xDA:
if not seen_frame:
scans += 1
if frame is None or scans > MAX_JPEG_SCANS:
raise NotAnImage()
seen_scan = True
skip_scan(file)
scan_bytes += skip_scan(file)
if frame is None or not scans:
raise NotAnImage()
# без этой проверки декодер принял бы заголовки с почти пустым сканом: конец данных он считает предупреждением
if frame[0] in JPEG_HUFFMAN_SOF and scan_bytes * 8 < frame[1]:
raise NotAnImage()
def skip_scan(file) -> None:
"""Проходит сжатые данные скана и оставляет файл на следующем маркере."""
def parse_frame(segment: bytes, max_pixels: int) -> int:
"""Проверяет заголовок кадра и возвращает число блоков изображения."""
if len(segment) < 6:
raise NotAnImage()
_, height, width, components = struct.unpack(">BHHB", segment[:6])
if components not in (1, 3, 4) or len(segment) != 6 + 3 * components:
raise NotAnImage()
check_size(width, height, max_pixels)
sampling = [segment[7 + 3 * index] for index in range(components)]
horizontal = [value >> 4 for value in sampling]
vertical = [value & 0x0F for value in sampling]
if not all(1 <= value <= 4 for value in horizontal + vertical):
raise NotAnImage()
mcu_columns = (width + 8 * max(horizontal) - 1) // (8 * max(horizontal))
mcu_rows = (height + 8 * max(vertical) - 1) // (8 * max(vertical))
return mcu_columns * mcu_rows * sum(h * v for h, v in zip(horizontal, vertical))
def skip_scan(file) -> int:
"""Проходит сжатые данные скана, оставляет файл на следующем маркере и возвращает их объём."""
begin = file.tell()
while True:
start = file.tell()
block = file.read(BLOCK)
@@ -176,7 +255,23 @@ def skip_scan(file) -> None:
position += 1
else:
file.seek(start + position)
return
return start + position - begin
def decode_jpeg(file) -> None:
"""Настоящее декодирование с уменьшением: файл принимается, только если декодер дошёл до конца."""
from PIL import Image # здесь, а не в начале файла: разбор PNG декодера не требует
file.seek(0)
with decode_lock:
try:
with Image.open(file, formats=["JPEG"]) as image:
image.draft(None, (max(1, image.width // 8), max(1, image.height // 8)))
image.load()
except MemoryError:
raise
except Exception as error: # у декодера нет единого исключения: OSError, SyntaxError, ValueError и другие
raise NotAnImage() from error
def read_exact(file, size: int) -> bytes:
+177
View File
@@ -0,0 +1,177 @@
"""Сверка с настоящим декодером. Pillow здесь судья: загружает изображение полностью и без уменьшения.
Главное правило: файл, который Pillow отвергает, отвергаем и мы. Обратное тоже проверяется на настоящих
файлах: всё, что Pillow умеет записать, должно приниматься.
"""
import io
import random
import struct
import sys
import unittest
import warnings
import zlib
from pathlib import Path
ROOT = Path(__file__).resolve().parents[2]
sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")]
from PIL import Image, ImageFile # noqa: E402
import images # noqa: E402
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
LIMIT = 40_000_000
ImageFile.LOAD_TRUNCATED_IMAGES = False
warnings.simplefilter("ignore")
def pillow_accepts(data):
try:
with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image:
image.load()
with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image:
image.verify()
return True
except Exception:
return False
def we_accept(data):
try:
images.inspect(io.BytesIO(data), LIMIT)
return True
except (images.NotAnImage, images.TooManyPixels):
return False
def picture(mode, size=(64, 48)):
image = Image.effect_noise(size, 60).convert("RGB")
return image.convert(mode) if mode != "RGB" else image
def encoded(image, **options):
out = io.BytesIO()
image.save(out, **options)
return out.getvalue()
def valid_corpus():
corpus = {}
for mode in ("1", "L", "LA", "P", "PA", "RGB", "RGBA", "I;16"):
try:
corpus["png-" + mode] = encoded(picture(mode), format="PNG")
except (OSError, ValueError):
pass
corpus["png-optimized"] = encoded(picture("RGB"), format="PNG", optimize=True)
corpus["png-1x1"] = encoded(picture("RGB", (1, 1)), format="PNG")
corpus["png-text"] = encoded(picture("L"), format="PNG", dpi=(72, 72))
for mode in ("L", "RGB", "CMYK"):
corpus["jpeg-" + mode] = encoded(picture(mode), format="JPEG")
for subsampling in (0, 1, 2):
corpus["jpeg-sub-%d" % subsampling] = encoded(picture("RGB"), format="JPEG", subsampling=subsampling)
corpus["jpeg-progressive"] = encoded(picture("RGB"), format="JPEG", progressive=True)
corpus["jpeg-optimized"] = encoded(picture("RGB"), format="JPEG", optimize=True)
corpus["jpeg-restart"] = encoded(picture("RGB"), format="JPEG", restart_marker_blocks=4)
corpus["jpeg-1x1"] = encoded(picture("RGB", (1, 1)), format="JPEG")
corpus["jpeg-flat"] = encoded(Image.new("L", (512, 512), 128), format="JPEG")
corpus["jpeg-flat-progressive"] = encoded(Image.new("RGB", (512, 512), (9, 9, 9)), format="JPEG", progressive=True)
corpus["jpeg-exif"] = encoded(picture("RGB"), format="JPEG", exif=b"Exif\x00\x00MM\x00*\x00\x00\x00\x08\x00\x00")
corpus.update({name: data for name, (_, data) in REAL_IMAGES.items()})
return corpus
class ValidFilesTest(unittest.TestCase):
def test_every_valid_file_is_accepted(self):
for name, data in valid_corpus().items():
with self.subTest(name):
self.assertTrue(pillow_accepts(data), "образец сам не принят Pillow")
self.assertTrue(we_accept(data))
class AgreementTest(unittest.TestCase):
def assert_no_false_accept(self, name, candidates):
false_accepts = []
rejected = accepted = 0
for data in candidates:
ours = we_accept(data)
theirs = pillow_accepts(data)
accepted += ours
rejected += not ours
if ours and not theirs:
false_accepts.append(data)
print("%s: принято %d, отвергнуто %d, принято вопреки Pillow %d" % (name, accepted, rejected, len(false_accepts)))
self.assertEqual(false_accepts[:1], [], "%s: принято %d файлов, которые Pillow отвергает" % (name, len(false_accepts)))
def test_random_bytes_changed(self):
rng = random.Random(20261031)
corpus = valid_corpus()
def mutated():
for name, original in corpus.items():
for _ in range(200):
data = bytearray(original)
for _ in range(rng.randint(1, 6)):
data[rng.randrange(len(data))] = rng.randrange(256)
yield bytes(data)
self.assert_no_false_accept("замена байтов", mutated())
def test_cut_files(self):
rng = random.Random(1031)
corpus = valid_corpus()
def cut():
for original in corpus.values():
for _ in range(40):
end = rng.randrange(len(original))
yield original[:end]
yield original[:end] + b"\xff\xd9"
self.assert_no_false_accept("обрезка", cut())
def test_png_with_recomputed_crc(self):
"""Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании."""
rng = random.Random(7)
def forged():
for _ in range(1500):
width, height = rng.randint(1, 12), rng.randint(1, 12)
size = (1 + width * 3) * height
raw = bytearray(rng.choice(b"\x00\x01\x02\x03\x04") for _ in range(size))
for _ in range(rng.randint(0, 3)):
raw[rng.randrange(size)] = rng.randrange(256)
yield make_png(width, height, bytes(raw))
self.assert_no_false_accept("PNG с верными CRC", forged())
def test_jpeg_with_headers_rebuilt(self):
rng = random.Random(9)
original = REAL_IMAGES["jpeg_baseline"][1]
scan = original.index(b"\xff\xda")
length = struct.unpack(">H", original[scan + 2:scan + 4])[0]
head = original[:scan + 2 + length]
def forged():
for _ in range(800):
body = bytes(rng.randrange(255) for _ in range(rng.randint(0, 300)))
yield head + body.replace(b"\xff", b"\x00") + b"\xff\xd9"
self.assert_no_false_accept("JPEG с настоящими заголовками", forged())
def test_png_chunks_shuffled(self):
rng = random.Random(3)
signature = b"\x89PNG\r\n\x1a\n"
chunks = [b"IHDR", b"PLTE", b"IDAT", b"IEND", b"tEXt"]
def forged():
header = struct.pack(">IIBBBBB", 2, 2, 8, 3, 0, 0, 0)
bodies = {b"IHDR": header, b"PLTE": b"\x01\x02\x03", b"IDAT": zlib.compress(b"\x00\x00\x00" * 2),
b"IEND": b"", b"tEXt": b"a\x00b"}
for _ in range(600):
order = rng.choices(chunks, k=rng.randint(1, 6))
yield signature + b"".join(png_chunk(kind, bodies[kind]) for kind in order)
self.assert_no_false_accept("порядок блоков PNG", forged())
if __name__ == "__main__":
unittest.main()
+288
View File
@@ -0,0 +1,288 @@
"""Разбор изображений без сервера. Запускается внутри образа API (make test-images): нужен Pillow."""
import io
import random
import struct
import sys
import unittest
import zlib
from pathlib import Path
ROOT = Path(__file__).resolve().parents[2]
sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")]
import images # noqa: E402
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
LIMIT = 40_000_000
def inspect(data, limit=LIMIT):
return images.inspect(io.BytesIO(data), limit)
class RealImagesTest(unittest.TestCase):
def test_real_images_are_accepted(self):
for name, (content_type, data) in REAL_IMAGES.items():
with self.subTest(name):
self.assertEqual(inspect(data), content_type)
def test_course_fixture(self):
path = ROOT / "tests/fixtures/sample.png"
self.assertEqual(inspect(path.read_bytes()), "image/png")
def test_jpeg_with_data_after_end(self):
# камеры дописывают после конца изображения превью
self.assertEqual(inspect(REAL_IMAGES["jpeg_baseline"][1] + b"\xff\xd8" + b"x" * 50), "image/jpeg")
def test_marker_on_block_border(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start = data.index(b"\xff\xda")
length = struct.unpack(">H", data[start + 2:start + 4])[0]
padded = data[:start + 2 + length] + b"\x12" * (images.BLOCK - 3) + b"\xff\x00" * 40 + data[start + 2 + length:]
self.assertEqual(inspect(bytes(padded)), "image/jpeg")
class BrokenImagesTest(unittest.TestCase):
def assert_not_image(self, data):
with self.assertRaises(images.NotAnImage):
inspect(data)
def test_truncated(self):
for name, (_, data) in REAL_IMAGES.items():
for size in (0, 1, 2, 3, 8, 12, len(data) // 2, len(data) - 1):
with self.subTest(name=name, size=size):
self.assert_not_image(data[:size])
def test_not_images(self):
for data in (b"", b"GIF89a" + b"\x00" * 20, b"%PDF-1.7", b"<svg></svg>", b"\xff\xd8", b"\x89PNG\r\n\x1a\n"):
with self.subTest(start=data[:8]):
self.assert_not_image(data)
def test_png_bad_crc(self):
data = bytearray(make_png(8, 8))
data[-20] ^= 0xFF
self.assert_not_image(bytes(data))
def test_png_data_after_end(self):
self.assert_not_image(make_png(8, 8) + b"<script>")
def test_png_with_wrong_amount_of_pixels(self):
self.assert_not_image(make_png(8, 8, b"\x00" * 10))
self.assert_not_image(make_png(8, 8, b"\x00" * 10000))
def test_png_data_is_not_zlib(self):
header = struct.pack(">IIBBBBB", 8, 8, 8, 2, 0, 0, 0)
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", b"not zlib") + png_chunk(b"IEND", b"")
self.assert_not_image(data)
def test_png_zero_size(self):
self.assert_not_image(make_png(0, 8, b""))
def test_jpeg_without_frame_or_scan(self):
self.assert_not_image(b"\xff\xd8\xff\xd9")
self.assert_not_image(b"\xff\xd8\xff\xe0\x00\x04ab\xff\xd9")
def test_png_data_after_compressed_stream_in_zero_size(self):
self.assert_not_image(make_png(1, 0, b""))
def test_random_corruption_never_crashes(self):
random.seed(20261030)
for name, (_, original) in REAL_IMAGES.items():
for _ in range(300):
data = bytearray(original)
for _ in range(random.randint(1, 8)):
data[random.randrange(len(data))] = random.randrange(256)
try:
inspect(bytes(data))
except (images.NotAnImage, images.TooManyPixels):
pass
class ReviewCasesTest(unittest.TestCase):
"""Файлы из замечания: заголовки верны, а изображения в них нет."""
def test_png_with_invalid_filter_byte(self):
with self.assertRaises(images.NotAnImage):
inspect(make_png(1, 1, b"\xff\x00\x00\x00"))
def test_jpeg_without_image_data(self):
data = bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9")
self.assertEqual(len(data), 27)
with self.assertRaises(images.NotAnImage):
inspect(data)
class PngContentTest(unittest.TestCase):
def assert_not_image(self, data):
with self.assertRaises(images.NotAnImage):
inspect(data)
def test_bad_filter_in_any_row(self):
row = b"\x00" + b"\x07" * 12
for bad_row in (0, 1, 7, 15):
rows = [row] * 16
rows[bad_row] = b"\x05" + b"\x07" * 12
with self.subTest(row=bad_row):
self.assert_not_image(make_png(4, 16, b"".join(rows)))
def test_all_valid_filters(self):
raw = b"".join(bytes([number % 5]) + b"\x07" * 12 for number in range(16))
self.assertEqual(inspect(make_png(4, 16, raw)), "image/png")
def test_filter_check_crosses_inflate_blocks(self):
# строки длиннее блока распаковки: байт фильтра может оказаться в любом месте блока
row_size = 1 + 3 * 40000
raw = bytearray(b"\x00" * row_size * 5)
raw[row_size * 3] = 9
self.assert_not_image(make_png(40000, 5, bytes(raw)))
raw[row_size * 3] = 4
self.assertEqual(inspect(make_png(40000, 5, bytes(raw))), "image/png")
def test_many_short_rows_are_checked_quickly(self):
import time
height = 5_000_000
started = time.monotonic()
header = struct.pack(">IIBBBBB", 1, height, 1, 0, 0, 0, 0)
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header)
data += png_chunk(b"IDAT", zlib.compress(b"\x00\x80" * height)) + png_chunk(b"IEND", b"")
self.assertEqual(inspect(data), "image/png")
self.assertLess(time.monotonic() - started, 5)
def test_interlaced(self):
def adam7(width, height, filter_byte=0):
rows = images.png_passes(width, height, 24, True)
return b"".join((bytes([filter_byte]) + b"\x07" * (size - 1)) * count for size, count in rows)
def interlaced_png(width, height, raw):
header = struct.pack(">IIBBBBB", width, height, 8, 2, 0, 0, 1)
return (b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(raw))
+ png_chunk(b"IEND", b""))
for width, height in ((1, 1), (2, 3), (5, 5), (8, 8), (33, 17)):
with self.subTest(size=(width, height)):
self.assertEqual(inspect(interlaced_png(width, height, adam7(width, height))), "image/png")
self.assert_not_image(interlaced_png(width, height, adam7(width, height, 7)))
self.assert_not_image(interlaced_png(width, height, adam7(width, height) + b"\x00"))
self.assert_not_image(interlaced_png(width, height, adam7(width, height)[:-1]))
def test_chunk_order(self):
signature, rest = b"\x89PNG\r\n\x1a\n", make_png(4, 4)[8:]
ihdr, tail = rest[:25], rest[25:]
end = tail[-12:]
idat = tail[:-12]
half = len(idat)
comment = png_chunk(b"tEXt", b"a\x00b")
self.assertEqual(inspect(signature + ihdr + comment + idat + comment + end), "image/png")
# два IDAT с другим блоком между ними
raw = zlib.compress(b"\x00" * 13 * 4)
split = png_chunk(b"IDAT", raw[:5]) + comment + png_chunk(b"IDAT", raw[5:])
self.assert_not_image(signature + ihdr + split + end)
# неизвестный обязательный блок, неизвестный необязательный, второй IHDR, данные в IEND
self.assert_not_image(signature + ihdr + png_chunk(b"XXXX", b"") + idat + end)
self.assertEqual(inspect(signature + ihdr + png_chunk(b"xxXx", b"") + idat + end), "image/png")
self.assert_not_image(signature + ihdr + ihdr + idat + end)
self.assert_not_image(signature + ihdr + idat + png_chunk(b"IEND", b"x"))
self.assertGreater(half, 0)
def test_palette_rules(self):
header = struct.pack(">IIBBBBB", 1, 1, 8, 3, 0, 0, 0)
idat = png_chunk(b"IDAT", zlib.compress(b"\x00\x00"))
start = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header)
end = png_chunk(b"IEND", b"")
self.assertEqual(inspect(start + png_chunk(b"PLTE", b"\x01\x02\x03") + idat + end), "image/png")
self.assert_not_image(start + idat + end)
self.assert_not_image(start + idat + png_chunk(b"PLTE", b"\x01\x02\x03") + end)
self.assert_not_image(start + png_chunk(b"PLTE", b"\x01\x02") + idat + end)
def test_garbage_after_compressed_data(self):
raw = zlib.compress(b"\x00" * 13 * 4) + b"junk"
header = struct.pack(">IIBBBBB", 4, 4, 8, 2, 0, 0, 0)
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", raw) + png_chunk(b"IEND", b"")
self.assert_not_image(data)
class JpegContentTest(unittest.TestCase):
def assert_not_image(self, data):
with self.assertRaises(images.NotAnImage):
inspect(data)
def segment(self, data, marker):
start = data.index(bytes([0xFF, marker]))
return start, 2 + struct.unpack(">H", data[start + 2:start + 4])[0]
def without_segments(self, data, marker):
stripped = bytearray(data)
while True:
try:
start, length = self.segment(bytes(stripped), marker)
except ValueError:
return bytes(stripped)
del stripped[start:start + length]
def test_without_quantization_tables(self):
self.assert_not_image(self.without_segments(REAL_IMAGES["jpeg_baseline"][1], 0xDB))
def test_without_huffman_tables_like_mjpeg(self):
# кадры MJPEG хранятся без таблиц Хаффмана, декодер подставляет стандартные: такой файл корректен
stripped = self.without_segments(REAL_IMAGES["jpeg_baseline"][1], 0xC4)
self.assertEqual(inspect(stripped), "image/jpeg")
def test_scan_replaced_by_almost_nothing(self):
data = REAL_IMAGES["jpeg_baseline"][1]
start, length = self.segment(data, 0xDA)
self.assert_not_image(data[:start + length] + b"\xff\xd9")
self.assert_not_image(data[:start + length] + b"\x12" + b"\xff\xd9")
def test_truncated_with_end_marker_added(self):
for name in ("jpeg_baseline", "jpeg_progressive"):
data = REAL_IMAGES[name][1]
start, length = self.segment(data, 0xDA)
with self.subTest(name):
self.assert_not_image(data[:start + length + 1] + b"\xff\xd9")
def test_big_frame_with_tiny_scan(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start, _ = self.segment(bytes(data), 0xC0)
data[start + 5:start + 9] = struct.pack(">HH", 4000, 4000)
self.assert_not_image(bytes(data))
def test_broken_frame_header(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start, _ = self.segment(bytes(data), 0xC0)
for offset, value in ((9, 2), (9, 5), (11, 0x00), (11, 0x55)):
broken = bytearray(data)
broken[start + offset] = value
with self.subTest(offset=offset, value=value):
self.assert_not_image(bytes(broken))
def test_too_many_scans(self):
# прогрессивный файл, где скан повторён тысячи раз: декодер прошёл бы всё изображение каждый раз
data = REAL_IMAGES["jpeg_progressive"][1]
start, length = self.segment(data, 0xDA)
scan = data[start:start + length] + b"\x00" * 4
self.assert_not_image(data[:start] + scan * (images.MAX_JPEG_SCANS + 1) + b"\xff\xd9")
class PixelLimitTest(unittest.TestCase):
def test_png_bomb_is_rejected_before_unpacking(self):
header = struct.pack(">IIBBBBB", 50000, 50000, 8, 2, 0, 0, 0)
# данные заголовка верны, а распаковать пришлось бы 7,5 ГБ
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(b"\x00" * 1000))
with self.assertRaises(images.TooManyPixels):
inspect(data)
def test_jpeg_over_limit(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start = data.index(b"\xff\xc0")
data[start + 5:start + 9] = struct.pack(">HH", 20000, 20000)
with self.assertRaises(images.TooManyPixels):
inspect(bytes(data))
def test_limit_is_exact(self):
self.assertEqual(inspect(make_png(10, 10), limit=100), "image/png")
with self.assertRaises(images.TooManyPixels):
inspect(make_png(10, 10), limit=99)
if __name__ == "__main__":
unittest.main()
+6
View File
@@ -133,6 +133,12 @@ class ContentCheckTest(Base):
with self.subTest(name):
self.assert_error(upload(self.alice, self.chat, data, content_type), 415, "unsupported_media_type")
def test_files_from_review(self):
png = make_png(1, 1, b"\xff\x00\x00\x00")
jpeg = bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9")
self.assert_error(upload(self.alice, self.chat, png), 415, "unsupported_media_type")
self.assert_error(upload(self.alice, self.chat, jpeg, "image/jpeg"), 415, "unsupported_media_type")
def test_mime_spoofing(self):
png, jpeg = FIXTURE, REAL_IMAGES["jpeg_baseline"][1]
self.assert_error(upload(self.alice, self.chat, png, "image/jpeg"), 415, "unsupported_media_type")
-119
View File
@@ -1,119 +0,0 @@
"""Проверка разбора изображений без сервера: файлы настоящие, а испорченные версии не должны ронять разбор."""
import io
import random
import struct
import sys
import unittest
import zlib
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "src"))
import images # noqa: E402
from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402
LIMIT = 40_000_000
def inspect(data, limit=LIMIT):
return images.inspect(io.BytesIO(data), limit)
class RealImagesTest(unittest.TestCase):
def test_real_images_are_accepted(self):
for name, (content_type, data) in REAL_IMAGES.items():
with self.subTest(name):
self.assertEqual(inspect(data), content_type)
def test_course_fixture(self):
path = Path(__file__).resolve().parents[1] / "tests/fixtures/sample.png"
self.assertEqual(inspect(path.read_bytes()), "image/png")
def test_jpeg_with_data_after_end(self):
# камеры дописывают после конца изображения превью
self.assertEqual(inspect(REAL_IMAGES["jpeg_baseline"][1] + b"\xff\xd8" + b"x" * 50), "image/jpeg")
def test_marker_on_block_border(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start = data.index(b"\xff\xda")
length = struct.unpack(">H", data[start + 2:start + 4])[0]
padded = data[:start + 2 + length] + b"\x12" * (images.BLOCK - 3) + b"\xff\x00" * 40 + data[start + 2 + length:]
self.assertEqual(inspect(bytes(padded)), "image/jpeg")
class BrokenImagesTest(unittest.TestCase):
def assert_not_image(self, data):
with self.assertRaises(images.NotAnImage):
inspect(data)
def test_truncated(self):
for name, (_, data) in REAL_IMAGES.items():
for size in (0, 1, 2, 3, 8, 12, len(data) // 2, len(data) - 1):
with self.subTest(name=name, size=size):
self.assert_not_image(data[:size])
def test_not_images(self):
for data in (b"", b"GIF89a" + b"\x00" * 20, b"%PDF-1.7", b"<svg></svg>", b"\xff\xd8", b"\x89PNG\r\n\x1a\n"):
with self.subTest(start=data[:8]):
self.assert_not_image(data)
def test_png_bad_crc(self):
data = bytearray(make_png(8, 8))
data[-20] ^= 0xFF
self.assert_not_image(bytes(data))
def test_png_data_after_end(self):
self.assert_not_image(make_png(8, 8) + b"<script>")
def test_png_with_wrong_amount_of_pixels(self):
self.assert_not_image(make_png(8, 8, b"\x00" * 10))
self.assert_not_image(make_png(8, 8, b"\x00" * 10000))
def test_png_data_is_not_zlib(self):
header = struct.pack(">IIBBBBB", 8, 8, 8, 2, 0, 0, 0)
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", b"not zlib") + png_chunk(b"IEND", b"")
self.assert_not_image(data)
def test_png_zero_size(self):
self.assert_not_image(make_png(0, 8, b""))
def test_jpeg_without_frame_or_scan(self):
self.assert_not_image(b"\xff\xd8\xff\xd9")
self.assert_not_image(b"\xff\xd8\xff\xe0\x00\x04ab\xff\xd9")
def test_random_corruption_never_crashes(self):
random.seed(20261030)
for name, (_, original) in REAL_IMAGES.items():
for _ in range(1500):
data = bytearray(original)
for _ in range(random.randint(1, 8)):
data[random.randrange(len(data))] = random.randrange(256)
try:
inspect(bytes(data))
except (images.NotAnImage, images.TooManyPixels):
pass
class PixelLimitTest(unittest.TestCase):
def test_png_bomb_is_rejected_before_unpacking(self):
header = struct.pack(">IIBBBBB", 50000, 50000, 8, 2, 0, 0, 0)
# данные заголовка верны, а распаковать пришлось бы 7,5 ГБ
data = b"\x89PNG\r\n\x1a\n" + png_chunk(b"IHDR", header) + png_chunk(b"IDAT", zlib.compress(b"\x00" * 1000))
with self.assertRaises(images.TooManyPixels):
inspect(data)
def test_jpeg_over_limit(self):
data = bytearray(REAL_IMAGES["jpeg_baseline"][1])
start = data.index(b"\xff\xc0")
data[start + 5:start + 9] = struct.pack(">HH", 20000, 20000)
with self.assertRaises(images.TooManyPixels):
inspect(bytes(data))
def test_limit_is_exact(self):
self.assertEqual(inspect(make_png(10, 10), limit=100), "image/png")
with self.assertRaises(images.TooManyPixels):
inspect(make_png(10, 10), limit=99)
if __name__ == "__main__":
unittest.main()