From de5efb4457351feef503999999f18c632bad7e99 Mon Sep 17 00:00:00 2001 From: Khamid Date: Sat, 31 Oct 2026 03:44:00 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9F=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D1=8F?= =?UTF-8?q?=D1=82=D1=8C=20=D1=81=D0=BE=D0=B4=D0=B5=D1=80=D0=B6=D0=B8=D0=BC?= =?UTF-8?q?=D0=BE=D0=B5=20=D0=B8=D0=B7=D0=BE=D0=B1=D1=80=D0=B0=D0=B6=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B9:=20=D0=B1=D0=B0=D0=B9=D1=82=D1=8B=20=D1=84?= =?UTF-8?q?=D0=B8=D0=BB=D1=8C=D1=82=D1=80=D0=B0=20PNG=20=D0=B8=20=D0=BD?= =?UTF-8?q?=D0=B0=D1=81=D1=82=D0=BE=D1=8F=D1=89=D0=B5=D0=B5=20=D0=B4=D0=B5?= =?UTF-8?q?=D0=BA=D0=BE=D0=B4=D0=B8=D1=80=D0=BE=D0=B2=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D0=B5=20JPEG?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Makefile | 7 +- REPORT.md | 91 ++++--- compose.yaml | 3 +- evidence/01-up-and-smoke.txt | 22 +- evidence/02-defense-scenario.txt | 5 +- evidence/03-image-tests.txt | 67 +++++ evidence/03-student-tests.txt | 23 +- evidence/04-persistence.txt | 38 +-- evidence/05-failover-public.txt | 54 ++-- evidence/06-failover-each.txt | 6 +- evidence/07-rolling-update.txt | 12 +- evidence/08-failures.txt | 6 +- evidence/09-upload-memory.txt | 44 ++-- evidence/10-containers.txt | 25 +- evidence/11-sigterm.txt | 6 +- evidence/12-explain.txt | 70 ++--- evidence/failover-each.json | 48 ++-- evidence/rolling-update.json | 24 +- evidence/upload-peak.json | 75 ++++-- requirements.txt | 1 + scripts/upload_peak.py | 33 ++- src/images.py | 199 ++++++++++---- student-tests/image/test_against_pillow.py | 177 +++++++++++++ student-tests/image/test_images.py | 288 +++++++++++++++++++++ student-tests/test_attachments.py | 6 + student-tests/test_images.py | 119 --------- 26 files changed, 1023 insertions(+), 426 deletions(-) create mode 100644 evidence/03-image-tests.txt create mode 100644 student-tests/image/test_against_pillow.py create mode 100644 student-tests/image/test_images.py delete mode 100644 student-tests/test_images.py diff --git a/Makefile b/Makefile index a87e404..fc58692 100644 --- a/Makefile +++ b/Makefile @@ -6,7 +6,7 @@ COMPOSE = docker compose --env-file .env COMPOSE_TEST = $(COMPOSE) -f compose.yaml -f compose.test.yaml TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) -.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo +.PHONY: help check validate test load test-persistence test-failover env up down clean restore student-test test-failures explain failover-each failover-hard rolling-update janitor upload-peak attachment-demo test-images help: @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" @@ -84,3 +84,8 @@ upload-peak: # сценарий защиты: файл, сообщение, второй участник, посторонний, прямой GET в S3 attachment-demo: $(PYTHON) scripts/attachment_demo.py + +# разбор изображений и сверка с Pillow внутри образа API: там установлен декодер +test-images: + COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \ + docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v' diff --git a/REPORT.md b/REPORT.md index 39476b4..efe0665 100644 --- a/REPORT.md +++ b/REPORT.md @@ -4,7 +4,7 @@ - Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен - Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/42 - Использованные источники, библиотеки и помощь ИИ: - - библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`); + - библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, boto3 1.43.122, Pillow 13.0.0, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11, SeaweedFS 4.50 (полный список в `requirements.txt`, `compose.yaml`, `infra/`); - источники: документация SeaweedFS (S3 API, конфигурация ключей), AWS S3 и boto3, спецификации PNG и JPEG (структура блоков и маркеров), `contracts/README.md`; - помощь ИИ: ИИ-ассистент использовался во вспомогательных целях. @@ -22,9 +22,10 @@ make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore # вернуть реплику, остановленную failover-тестом make attachment-demo # сценарий защиты: файл, сообщение, посторонний, прямой GET в S3 -make student-test # тесты API, вложений и разбора изображений +make student-test # тесты API и вложений +make test-images # разбор изображений и сверка с Pillow внутри образа API make test-failures # сбой между S3 и БД, отказ S3, приватность bucket, отказ Redis и PostgreSQL -make upload-peak # 1, 10 и 30 одновременных загрузок по 10 MiB с замером памяти +make upload-peak # 1, 10 и 30 загрузок по 10 MiB и 10 самых тяжёлых JPEG с замером памяти make janitor # один проход очистки вручную make failover-each # остановка каждой реплики под нагрузкой make rolling-update APP_VERSION=2 @@ -58,7 +59,7 @@ s3-init, migrate: одноразовые контейнеры до старта | Роль | Сервис | Образ | Готовность | Volume | Сеть и порт | Лимиты | Секреты | | --- | --- | --- | --- | --- | --- | --- | --- | | load_balancer | `lb` | `infra/haproxy` на `haproxy:3.2.26-alpine` | `/lb-health` | нет | `edge`, опубликован только `127.0.0.1:8080` | 0,5 CPU, 128 МБ | нет | -| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 256 МБ | БД, Redis, S3-ключ API | +| api | `api`, 2 реплики | `Dockerfile` на `python:3.13.16-slim-bookworm` | `/health/ready` | нет, состояния не хранит | `edge`, `data`, `storage`, порт не опубликован | 1 CPU, 512 МБ | БД, Redis, S3-ключ API | | очистка | `janitor` | тот же образ | нет, цикл с логом | нет | `data`, `storage` | 0,25 CPU, 128 МБ | БД, S3-ключ janitor | | bootstrap | `migrate`, `s3-init` | тот же образ | одноразовые, код выхода 0 | нет | `data`; `storage` | 0,5 CPU, 128 МБ | БД; S3-ключ admin | | s3 | `s3` | `infra/s3` на `chrislusf/seaweedfs:4.50` | том данных зарегистрирован в мастере и S3 отвечает | `s3data` | `storage`, порт 9000 не опубликован | 1 CPU, 1 ГБ | все три S3-ключа | @@ -111,6 +112,8 @@ s3-init, migrate: одноразовые контейнеры до старта | размер файла | 10 MiB (`MAX_UPLOAD_BYTES`) | 413; по `Content-Length` сразу, без него на ходу приёма | | грубый предел на балансировщике | 11 MiB | 413 до API | | пиксели | 40 млн (`MAX_IMAGE_PIXELS`) | 413 из заголовка, без распаковки | +| сканов в JPEG | 100 | 415: каждый скан заставляет декодер пройти всё изображение, в 10 MiB их поместились бы тысячи | +| декодирований JPEG на реплику | 1 | следующее ждёт, память не складывается | | тело JSON-запроса | 1 MiB | 413 | | время приёма файла | 60 с | 400 | | загрузок на реплику | 32 | 429 с `Retry-After` | @@ -119,7 +122,13 @@ s3-init, migrate: одноразовые контейнеры до старта В памяти одновременно находится только текущий блок: тело читается потоком, файл уходит в S3 из временного файла, скачивание отдаётся блоками по 64 КБ. -**Проверка изображения без декодирования (`src/images.py`).** Пиксели в память не распаковываются, поэтому decompression bomb не опасна: размер берётся из заголовка до любой работы с данными. PNG: сигнатура, порядок блоков, CRC каждого блока, потоковая распаковка IDAT с выбрасыванием результата, сверка объёма данных с размером изображения, запрет данных после IEND. JPEG: структура маркеров, наличие кадра и скана, маркер конца. Настоящий тип должен совпасть с `Content-Type`, иначе 415. Pillow не используется: полное декодирование 40 млн пикселей заняло бы около 120 МБ на файл при лимите реплики 256 МБ. +**Проверка изображения (`src/images.py`).** Размер берётся из заголовка до любой работы с данными, поэтому decompression bomb отсекается сразу. Настоящий тип должен совпасть с `Content-Type`, иначе 415. + +*PNG* проверяется потоково, память не зависит от размера изображения: сигнатура, порядок блоков (IHDR первым, IDAT подряд, PLTE до данных и обязателен для палитры, неизвестные обязательные блоки запрещены), CRC каждого блока, распаковка с выбрасыванием результата, байт фильтра 0–4 в начале каждой строки, точный объём данных, в том числе для чересстрочных изображений Adam7, запрет данных после конца. + +*JPEG* так проверить нельзя: понять, что в скане настоящие данные, можно только декодированием. Поэтому сначала идёт быстрый разбор маркеров (размер, заголовок кадра, число сканов, объём данных не меньше 1 бита на блок), затем настоящий декодер Pillow с уменьшением в 8 раз. Файл принимается, только если декодер дошёл до конца. Обычный JPEG при этом занимает около 6 МБ. Прогрессивный хранит коэффициенты всего изображения, уменьшение тут не помогает: измерено 234 МБ для RGB и 311 МБ для CMYK на 40 млн пикселей. Поэтому декодирование идёт по одному на реплику, а лимит реплики поднят до 512 МБ. + +Почему PNG не отдан Pillow целиком: 40 млн пикселей RGBA заняли бы 160 МБ, а уменьшения при чтении у PNG нет. Соответствие декодеру проверяется отдельно, см. раздел об экспериментах. **Имя файла.** 1–255 символов Unicode, запрещены `/`, `\`, NUL, управляющие символы, символы смены направления текста (ими маскируют расширение), строки из пробелов, `.` и `..`. @@ -147,6 +156,10 @@ Bucket приватный: в конфигурации сервера нет а Ключ, сообщение и ссылки на вложения пишутся одной транзакцией. Проверка вложений (готово и лежит в этом чате) выполняется в ней же: чужое или неизвестное вложение даёт 404 и откатывает занятие ключа, поэтому ключ можно использовать снова. Повтор сравнивается по тексту и списку `attachment_ids`; отсутствующий список равен пустому, другой список — 409. +### Исправления по замечаниям + +**Неполная проверка корректности изображения.** PNG 1×1 с верными CRC и строкой с недопустимым фильтром `ff`, а также JPEG из 27 байт только с заголовками принимались как `ready`: первая версия проверяла форму файла, но не его содержимое. Теперь PNG проверяется построчно, JPEG проходит через настоящий декодер (раздел о проверке изображения выше). Оба файла из замечания дают 415, тесты: `test_files_from_review`, `ReviewCasesTest`. Чтобы не исправлять только два примера, добавлена сверка с Pillow на 11 580 испорченных файлах. + ### Что перенесено из lab3 и что изменено Перенесены: балансировщик и реплики, сессии в Redis, идемпотентность, миграции, поочерёдная замена, строгий разбор JSON, все тесты. Добавлены: сервисы `s3`, `s3-init`, `janitor`, сеть `storage`, миграция `0003`, endpoint вложений, поле `attachment_ids`. Изменено: `timeout server` балансировщика 20 с вместо 12; строгие лимиты тела JSON (раньше лимита не было). Миграция `0003` снимает требование непустого текста и добавляет таблицы, версия lab3 на такой схеме продолжила бы работать; совместная работа разных версий не проверялась. @@ -173,38 +186,53 @@ Bucket приватный: в конфигурации сервера нет а | Публичный smoke сразу после чистого запуска | `make up`, `make test` | `PASS: lab4 public API scenario` | `evidence/01-up-and-smoke.txt` | | 3: S3 в общем стенде, метаданные в PostgreSQL, байты в приватном bucket | `make up`, `make attachment-demo` | сервис `s3`, прямой GET без подписи 403 | `evidence/01-up-and-smoke.txt`, `evidence/02-defense-scenario.txt` | | 3: 201 ready, побайтное скачивание, сообщение с вложением, посторонний 404 | `make attachment-demo`, `test_attachments.py` | sha256 совпал, посторонний 404 на метаданные и байты | `evidence/02-defense-scenario.txt`, `evidence/03-student-tests.txt` | -| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `test_images.py` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415 | `evidence/03-student-tests.txt` | +| 3: PNG/JPEG ≤10 MiB и ≤40 млн пикселей, проверка по содержимому, опасные имена | `test_attachments.py`, `make test-images` | ровно 10 MiB — 201, на байт больше — 413; bomb — 413; подмена — 415; 0 файлов принято вопреки Pillow | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` | | 3: upload → остановка реплики → download через другую | `make test-failover`, 2 прогона | `PASS`, контейнер `exited`, файл скачан и совпал | `evidence/05-failover-public.txt` | | 3: restart сохраняет метаданные и оригинал | `make test-persistence` | `PASS`, новое время старта у всех контейнеров, включая `s3` | `evidence/04-persistence.txt` | -| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt` | -| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 6 подтверждённых файлов скачиваются | `evidence/08-failures.txt` | +| 4: большой файл, повреждённое изображение, подмена MIME, чужой id, файл другого чата | `test_attachments.py`, `make test-images` | 413, 415, 415, 404, 404; ни одного 500 | `evidence/03-student-tests.txt`, `evidence/03-image-tests.txt` | +| 4: прерывание загрузки и отказ между S3 и БД | `test_storage.py`, настоящий `kill` PostgreSQL при 12 потоках загрузки | 8 объектов остались в S3 без подтверждения; после очистки S3 и БД совпадают, 3 подтверждённых файла скачиваются | `evidence/08-failures.txt` | | 4: grace period и безопасность очистки | `test_grace_period_protects_fresh_upload`, `test_ready_attachments_are_never_removed` | свежий `pending` и `ready` не тронуты | `evidence/08-failures.txt` | -| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` | +| 4: лимиты, потоковая обработка, ≥10 одновременных загрузок, пик памяти | `make upload-peak`, 5 прогонов | см. таблицу ниже, OOM 0 у S3 и реплик | `evidence/09-upload-memory.txt`, `evidence/upload-peak.json` | | 4: bootstrap идемпотентен | `docker compose run --rm s3-init` | `bucket уже есть`, объекты не изменились | `evidence/04-persistence.txt`, `evidence/08-failures.txt` | | 4: отдельный S3-ключ с ограниченными правами | `test_bucket_is_private_and_api_key_is_limited` | list, create, delete bucket — AccessDenied | `evidence/08-failures.txt` | | 4: консоль не открыта, проверка private bucket вне API | `docker compose ps`, тот же тест | порты `s3` не опубликованы, анонимный GET 403 | `evidence/10-containers.txt`, `evidence/08-failures.txt` | | Отказ S3 | `test_s3_down`, `test_failed_upload_is_cleaned` | 503 на файлах, текст и готовность работают, `pending` убран | `evidence/08-failures.txt` | | Возможности lab3: failover, поочерёдная замена | `make failover-each`, `make rolling-update` | см. таблицу ниже | `evidence/06-failover-each.txt`, `evidence/07-rolling-update.txt` | -| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,73 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` | +| Возможности lab2 и lab1: истечение, отказы, индекс, SIGTERM | `make test-failures`, `make explain`, `sigterm_check.py` | тесты `ok`, Index Scan, выход за 1,57 с | `evidence/08-failures.txt`, `evidence/12-explain.txt`, `evidence/11-sigterm.txt` | -Собственные тесты: 142 в `make student-test` (39 вложения, 16 разбор изображений, остальные API) и 27 в `make test-failures` (12 про хранение). `test_images.py` дополнительно портит настоящие изображения случайными байтами 12 000 раз и проверяет, что разбор не падает. +Собственные тесты: 127 в `make student-test` (40 про вложения), 40 в `make test-images` и 27 в `make test-failures` (12 про хранение). ## Эксперименты и отказы +### Проверка изображений против настоящего декодера + +Гипотеза: файл, который декодер отвергает, не проходит и наш разбор. Методика (`student-tests/image/test_against_pillow.py`, запуск в образе API): Pillow загружает файл полностью и без уменьшения и служит судьёй. Все файлы, которые он умеет записать (PNG 1/L/LA/P/RGB/RGBA/16 бит, JPEG gray/RGB/CMYK, все виды прореживания, прогрессивный, с маркерами рестарта, 1×1), должны приниматься. Испорченные должны отвергаться, если их отвергает Pillow. + +| Набор | Файлов | Принято нами | Принято вопреки Pillow | +| --- | --- | --- | --- | +| случайная замена байтов | 6200 | 2218 | 0 | +| обрезка, в том числе с дописанным маркером конца | 2480 | 370 | 0 | +| PNG с верными CRC и случайными данными | 1500 | 1354 | 0 | +| JPEG с настоящими заголовками и случайным сканом | 800 | 792 | 0 | +| случайный порядок блоков PNG | 600 | 0 | 0 | + +Ограничение: Pillow здесь судья и для JPEG, и libjpeg терпим к мусору в сжатых данных. Поэтому 792 файла из 800 в четвёртой строке приняты: случайные байты декодер читает как шум. Обнаружить такое можно только анализом самого изображения. + ### Память при одновременных загрузках -Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт. Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд. +Гипотеза: при потоковой обработке пик памяти процесса почти не зависит от числа загрузок, а самый тяжёлый JPEG укладывается в лимит реплики. Методика (`scripts/upload_peak.py`): реплики перезапускаются, затем идут 1, 10 и 30 одновременных загрузок через балансировщик настоящего PNG 10 481 664 байт и 10 загрузок прогрессивного CMYK JPEG на 40 млн пикселей (2,6 МиБ). Измеряется `VmHWM` процесса (пик RSS) на обеих репликах. 5 прогонов подряд. -| Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ | -| --- | --- | --- | --- | -| 0 (после старта) | — | — | 117 | -| 1 | 0,14–1,83 | 5 из 5 | 117–118 | -| 10 | 1,29–3,87 | 50 из 50 | 124–126 | -| 30 | 3,79–6,43 | 150 из 150 | 126–129 | +| Файл | Параллельно | Время, с (мин–макс) | Успешных | Пик RSS реплики, МиБ | +| --- | --- | --- | --- | --- | +| — (после старта) | 0 | — | — | 117 | +| PNG 10 MiB | 1 | 0,14–0,17 | 5 из 5 | 117–119 | +| PNG 10 MiB | 10 | 1,34–2,10 | 50 из 50 | 124–127 | +| PNG 10 MiB | 30 | 4,89–7,19 | 150 из 150 | 127–131 | +| прогрессивный JPEG, 40 млн пикселей | 10 | 1,31–1,47 | 50 из 50 | 435–440 | -Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 12 МиБ, гипотеза подтверждается. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117 и упёрлась бы в лимит 256 МБ. +Вывод: 30 файлов общим объёмом 300 МиБ добавили к пику примерно 13 МиБ. Наивная версия, держащая файлы в памяти, потребовала бы около 150 МиБ на реплику сверх базовых 117. Десять самых тяжёлых JPEG дают пик одного декодирования, а не десяти, это подтверждает работу ограничения: иначе реплика ушла бы за лимит 512 МБ. -Ограничение измерения: `memory.peak` контейнера доходит до лимита 256 МБ, но в него входит кэш страниц временных файлов, который система освобождает. OOM на репликах не было. Разброс времени большой: S3 и генератор нагрузки работают на одном компьютере. +Ограничение измерения: `memory.peak` контейнера выше RSS на PNG-уровнях, в него входит кэш страниц временных файлов, который система освобождает. OOM не было ни у S3, ни у реплик, перезапусков тоже. Разброс времени велик: S3 и генератор нагрузки работают на одном компьютере. ### Что эксперимент нашёл по дороге @@ -214,7 +242,7 @@ Bucket приватный: в конфигурации сервера нет а ### Сбой между S3 и БД -Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: 6 файлов подтверждено (3 из них до сбоя), 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой. +Гипотеза: при любом сбое после очистки множество объектов S3 совпадает со строками `ready`, а подтверждённые файлы целы. Методика (`test_postgres_lost_during_parallel_uploads`): 12 потоков загружают файлы по 3 МиБ, через 0,25 с PostgreSQL убивается (`docker compose kill`), затем запускается, выполняется проход janitor. Результат: подтверждено 3 файла, 8 объектов осталось в S3 без подтверждения, после очистки расхождений нет, подтверждённые файлы скачиваются с верным sha256. Состав окна зависит от момента сбоя, поэтому 3 подтверждения делаются заранее: проверка сохранности не может оказаться пустой. ### Остальные отказы @@ -222,9 +250,11 @@ Bucket приватный: в конфигурации сервера нет а | Воздействие | Реплика | Длительность, с | Успешных | RPS | Ошибок | Исключена LB через, с | Пауза записи, с | Потери / дубли | | --- | --- | --- | --- | --- | --- | --- | --- | --- | -| `docker stop` | 1 | 17,89 | 10 761 | 602 | 0 | 0,90 | 1,03 | 0 / 0 | -| `docker stop` | 2 | 19,96 | 11 872 | 595 | 0 | 1,51 | 1,02 | 0 / 0 | -| rolling update, 15,5 с | обе | 25,51 | 17 974 | 705 | 0 | — | 1,00 | 0 / 0 | +| `docker stop` | 1 | 18,19 | 8 333 | 458 | 0 | 1,63 | 1,00 | 0 / 0 | +| `docker stop` | 2 | 19,85 | 9 258 | 466 | 1 (502) | 0,78 | 1,02 | 0 / 0 | +| rolling update, 14,8 с | обе | 24,77 | 13 125 | 530 | 0 | — | 1,00 | 0 / 0 | + +Единственная ошибка 502 закрыта повтором клиента с тем же ключом, как и в lab3. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | @@ -234,19 +264,20 @@ Bucket приватный: в конфигурации сервера нет а | `kill postgres` при загрузках | неподтверждённое убрано, подтверждённое цело | см. выше | очистка при следующем проходе после grace period | | обрыв 4 загрузок клиентом | ничего не остаётся | S3 и `attachments` не изменились | — | -Индекс истории (`make explain`, 101 045 сообщений, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же: +Индекс истории (`make explain`, 91 163 сообщения, 10 000 в чате). К истории добавился подзапрос `attachment_ids`, это 1 буфер на сообщение, поэтому числа выше, чем в lab3, но характер тот же: | Запрос | Буферов | Время | | --- | --- | --- | -| первая страница | 63 | 0,255 мс | -| страница после 5000-го сообщения, keyset | 59 | 0,232 мс | -| та же страница через OFFSET | 5552 | 5,152 мс | -| keyset без индекса | 1454 | 3,202 мс | +| первая страница | 64 | 0,286 мс | +| страница после 5000-го сообщения, keyset | 59 | 0,291 мс | +| та же страница через OFFSET | 5551 | 6,266 мс | +| keyset без индекса | 1322 | 3,455 мс | ## Ограничения и следующие шаги - **Не выдерживается** отказ `lb`, `postgres`, `redis`, `s3` или хоста: всё в одном экземпляре на одном Docker-хосте. У S3 один том без репликации, потеря `s3data` означает потерю файлов. Резервных копий нет. -- JPEG проверяется по структуре: порча внутри сжатых данных не обнаруживается, для этого нужно декодирование. У PNG содержимое проверяется полностью. +- JPEG с мусором внутри сжатых данных принимается, если настоящий декодер читает его как изображение: libjpeg считает это шумом, а не ошибкой. У PNG проверяются все данные, но смысл пикселей тоже не оценивается. +- Декодирование одного тяжёлого JPEG занимает до 330 МБ на реплику, поэтому лимит реплики 512 МБ. Они идут по одному, очередь создаёт задержку при массовой загрузке прогрессивных файлов. - Ключ API может удалять объекты (ограничение прав SeaweedFS). - Вложение `ready`, не прикреплённое ни к одному сообщению, хранится бессрочно: контракт разрешает прикрепить его позже, а механизма удаления в API нет. - Сверка находит лишние объекты, но не обратный случай: строка `ready`, а объект потерян. Такое скачивание даст 503, автоматического обнаружения нет. diff --git a/compose.yaml b/compose.yaml index beb09a7..56f195e 100644 --- a/compose.yaml +++ b/compose.yaml @@ -90,7 +90,8 @@ services: resources: limits: cpus: "1.0" - memory: 256M + # 120 МБ сам процесс и до 320 МБ на декодирование прогрессивного JPEG на 40 млн пикселей + memory: 512M restart: unless-stopped # миграции выполняет один контейнер до старта реплик, а не каждая реплика diff --git a/evidence/01-up-and-smoke.txt b/evidence/01-up-and-smoke.txt index 27e1572..db63568 100644 --- a/evidence/01-up-and-smoke.txt +++ b/evidence/01-up-and-smoke.txt @@ -1,5 +1,5 @@ # Запуск из чистого clone на пустых volumes, публичный smoke -# дата: 2026-10-30T19:58Z, чистый clone +# дата: 2026-10-31T00:55Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ make env @@ -9,14 +9,14 @@ $ make env $ docker compose --env-file .env config --quiet $ docker compose --env-file .env up -d --build - Image mtusi-messenger:lab4 Built + Image mtusi-messenger-lb:lab4 Built Image mtusi-messenger-s3:lab4 Built Image mtusi-messenger:lab4 Built Image mtusi-messenger:lab4 Built Image mtusi-messenger:lab4 Built - Image mtusi-messenger-lb:lab4 Built - Network mtusi-messenger-lab4_storage Created + Image mtusi-messenger:lab4 Built Network mtusi-messenger-lab4_data Created + Network mtusi-messenger-lab4_storage Created Network mtusi-messenger-lab4_edge Created Volume mtusi-messenger-lab4_redisdata Created Volume mtusi-messenger-lab4_s3data Created @@ -30,13 +30,13 @@ $ docker compose --env-file .env up -d --build Container mtusi-messenger-lab4-janitor-1 Created Container mtusi-messenger-lab4-api-2 Created Container mtusi-messenger-lab4-lb-1 Created - Container mtusi-messenger-lab4-postgres-1 Started Container mtusi-messenger-lab4-redis-1 Started Container mtusi-messenger-lab4-s3-1 Started - Container mtusi-messenger-lab4-postgres-1 Healthy + Container mtusi-messenger-lab4-postgres-1 Started Container mtusi-messenger-lab4-s3-1 Healthy - Container mtusi-messenger-lab4-migrate-1 Started + Container mtusi-messenger-lab4-postgres-1 Healthy Container mtusi-messenger-lab4-s3-init-1 Started + Container mtusi-messenger-lab4-migrate-1 Started Container mtusi-messenger-lab4-redis-1 Healthy Container mtusi-messenger-lab4-migrate-1 Exited Container mtusi-messenger-lab4-migrate-1 Exited @@ -60,16 +60,16 @@ migrate mtusi-messenger:lab4 exited Exited (0) 16 seconds ago postgres postgres:17.11-alpine running Up 22 seconds (healthy) 5432/tcp redis redis:7.4.11-alpine running Up 22 seconds (healthy) 6379/tcp s3 mtusi-messenger-s3:lab4 running Up 22 seconds (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp -s3-init mtusi-messenger:lab4 exited Exited (0) 5 seconds ago +s3-init mtusi-messenger:lab4 exited Exited (0) 4 seconds ago $ docker compose --env-file .env logs migrate s3-init -migrate-1 | применена: 0001_init.sql -migrate-1 | применена: 0002_idempotency.sql -migrate-1 | применена: 0003_attachments.sql s3-init-1 | bucket создан: messenger-attachments s3-init-1 | S3 ещё не готов: ReadTimeoutError s3-init-1 | bucket уже есть: messenger-attachments s3-init-1 | пробная запись прошла +migrate-1 | применена: 0001_init.sql +migrate-1 | применена: 0002_idempotency.sql +migrate-1 | применена: 0003_attachments.sql $ make check python3 scripts/check_contract.py diff --git a/evidence/02-defense-scenario.txt b/evidence/02-defense-scenario.txt index ce3f4ac..bd9d5b3 100644 --- a/evidence/02-defense-scenario.txt +++ b/evidence/02-defense-scenario.txt @@ -1,8 +1,9 @@ # Сценарий защиты: файл, сообщение, второй участник, посторонний, прямой доступ к S3 -# дата: 2026-10-30T19:58Z, чистый clone +# дата: 2026-10-31T00:55Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 -$ python3 scripts/attachment_demo.py +$ make attachment-demo +python3 scripts/attachment_demo.py загрузка: ready 111817 байт, sha256 99ea7533c441f79c сообщение: 201 attachment_ids = 1 второй участник скачал: 200 image/png sha256 совпал: True diff --git a/evidence/03-image-tests.txt b/evidence/03-image-tests.txt new file mode 100644 index 0000000..e68e2ad --- /dev/null +++ b/evidence/03-image-tests.txt @@ -0,0 +1,67 @@ +# Разбор изображений и сверка с Pillow внутри образа API +# дата: 2026-10-31T00:56Z, чистый clone +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make test-images +COPYFILE_DISABLE=1 tar -cf - src/images.py student-tests/samples.py student-tests/image tests/fixtures/sample.png | \ + docker run --rm -i --entrypoint sh mtusi-messenger:lab4 -c 'cd /tmp && tar -xf - && python -m unittest discover -s student-tests/image -v' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +tar: Ignoring unknown extended header keyword 'LIBARCHIVE.xattr.com.apple.provenance' +test_cut_files (test_against_pillow.AgreementTest.test_cut_files) ... /usr/local/lib/python3.13/site-packages/PIL/TiffImagePlugin.py:982: UserWarning: Corrupt EXIF data. Expecting to read 4 bytes but only got 0. + warnings.warn(str(msg)) +обрезка: принято 370, отвергнуто 2110, принято вопреки Pillow 0 +ok +test_jpeg_with_headers_rebuilt (test_against_pillow.AgreementTest.test_jpeg_with_headers_rebuilt) ... JPEG с настоящими заголовками: принято 792, отвергнуто 8, принято вопреки Pillow 0 +ok +test_png_chunks_shuffled (test_against_pillow.AgreementTest.test_png_chunks_shuffled) ... порядок блоков PNG: принято 0, отвергнуто 600, принято вопреки Pillow 0 +ok +test_png_with_recomputed_crc (test_against_pillow.AgreementTest.test_png_with_recomputed_crc) +Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании. ... ok +test_random_bytes_changed (test_against_pillow.AgreementTest.test_random_bytes_changed) ... PNG с верными CRC: принято 1354, отвергнуто 146, принято вопреки Pillow 0 +ok +test_every_valid_file_is_accepted (test_against_pillow.ValidFilesTest.test_every_valid_file_is_accepted) ... замена байтов: принято 2218, отвергнуто 3982, принято вопреки Pillow 0 +ok +test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok +test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok +test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok +test_png_data_after_compressed_stream_in_zero_size (test_images.BrokenImagesTest.test_png_data_after_compressed_stream_in_zero_size) ... ok +test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok +test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok +test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok +test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok +test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok +test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok +test_big_frame_with_tiny_scan (test_images.JpegContentTest.test_big_frame_with_tiny_scan) ... ok +test_broken_frame_header (test_images.JpegContentTest.test_broken_frame_header) ... ok +test_scan_replaced_by_almost_nothing (test_images.JpegContentTest.test_scan_replaced_by_almost_nothing) ... ok +test_too_many_scans (test_images.JpegContentTest.test_too_many_scans) ... ok +test_truncated_with_end_marker_added (test_images.JpegContentTest.test_truncated_with_end_marker_added) ... ok +test_without_huffman_tables_like_mjpeg (test_images.JpegContentTest.test_without_huffman_tables_like_mjpeg) ... ok +test_without_quantization_tables (test_images.JpegContentTest.test_without_quantization_tables) ... ok +test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok +test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok +test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok +test_all_valid_filters (test_images.PngContentTest.test_all_valid_filters) ... ok +test_bad_filter_in_any_row (test_images.PngContentTest.test_bad_filter_in_any_row) ... ok +test_chunk_order (test_images.PngContentTest.test_chunk_order) ... ok +test_filter_check_crosses_inflate_blocks (test_images.PngContentTest.test_filter_check_crosses_inflate_blocks) ... ok +test_garbage_after_compressed_data (test_images.PngContentTest.test_garbage_after_compressed_data) ... ok +test_interlaced (test_images.PngContentTest.test_interlaced) ... ok +test_many_short_rows_are_checked_quickly (test_images.PngContentTest.test_many_short_rows_are_checked_quickly) ... ok +test_palette_rules (test_images.PngContentTest.test_palette_rules) ... ok +test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok +test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok +test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok +test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok +test_jpeg_without_image_data (test_images.ReviewCasesTest.test_jpeg_without_image_data) ... ok +test_png_with_invalid_filter_byte (test_images.ReviewCasesTest.test_png_with_invalid_filter_byte) ... ok + +---------------------------------------------------------------------- +Ran 40 tests in 0.952s + +OK + diff --git a/evidence/03-student-tests.txt b/evidence/03-student-tests.txt index 59ae38e..a5cba17 100644 --- a/evidence/03-student-tests.txt +++ b/evidence/03-student-tests.txt @@ -1,5 +1,5 @@ -# Собственные тесты API и разбора изображений -# дата: 2026-10-30T19:58Z, чистый clone +# Собственные тесты API и вложений +# дата: 2026-10-31T00:55Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ make student-test @@ -26,6 +26,7 @@ test_outsider_looks_the_same_as_missing (test_attachments.AccessTest.test_outsid test_variants (test_attachments.AccessTest.test_variants) ... ok test_broken_images (test_attachments.ContentCheckTest.test_broken_images) ... ok test_extension_is_not_trusted (test_attachments.ContentCheckTest.test_extension_is_not_trusted) ... ok +test_files_from_review (test_attachments.ContentCheckTest.test_files_from_review) ... ok test_mime_spoofing (test_attachments.ContentCheckTest.test_mime_spoofing) ... ok test_unsupported_content_type (test_attachments.ContentCheckTest.test_unsupported_content_type) ... ok test_bad_filenames (test_attachments.FilenameTest.test_bad_filenames) ... ok @@ -94,22 +95,6 @@ test_parallel_repeat_through_different_replicas (test_idempotency.IdempotencyTes test_repeat_checks_access_again (test_idempotency.IdempotencyTest.test_repeat_checks_access_again) ... ok test_repeat_returns_same_message (test_idempotency.IdempotencyTest.test_repeat_returns_same_message) ... ok test_same_key_for_other_user_and_other_chat (test_idempotency.IdempotencyTest.test_same_key_for_other_user_and_other_chat) ... ok -test_jpeg_without_frame_or_scan (test_images.BrokenImagesTest.test_jpeg_without_frame_or_scan) ... ok -test_not_images (test_images.BrokenImagesTest.test_not_images) ... ok -test_png_bad_crc (test_images.BrokenImagesTest.test_png_bad_crc) ... ok -test_png_data_after_end (test_images.BrokenImagesTest.test_png_data_after_end) ... ok -test_png_data_is_not_zlib (test_images.BrokenImagesTest.test_png_data_is_not_zlib) ... ok -test_png_with_wrong_amount_of_pixels (test_images.BrokenImagesTest.test_png_with_wrong_amount_of_pixels) ... ok -test_png_zero_size (test_images.BrokenImagesTest.test_png_zero_size) ... ok -test_random_corruption_never_crashes (test_images.BrokenImagesTest.test_random_corruption_never_crashes) ... ok -test_truncated (test_images.BrokenImagesTest.test_truncated) ... ok -test_jpeg_over_limit (test_images.PixelLimitTest.test_jpeg_over_limit) ... ok -test_limit_is_exact (test_images.PixelLimitTest.test_limit_is_exact) ... ok -test_png_bomb_is_rejected_before_unpacking (test_images.PixelLimitTest.test_png_bomb_is_rejected_before_unpacking) ... ok -test_course_fixture (test_images.RealImagesTest.test_course_fixture) ... ok -test_jpeg_with_data_after_end (test_images.RealImagesTest.test_jpeg_with_data_after_end) ... ok -test_marker_on_block_border (test_images.RealImagesTest.test_marker_on_block_border) ... ok -test_real_images_are_accepted (test_images.RealImagesTest.test_real_images_are_accepted) ... ok test_chat_cursor_belongs_to_user (test_pagination.ChatPaginationTest.test_chat_cursor_belongs_to_user) ... ok test_walk_chat_list (test_pagination.ChatPaginationTest.test_walk_chat_list) ... ok test_bad_cursor (test_pagination.MessagePaginationTest.test_bad_cursor) ... ok @@ -148,7 +133,7 @@ test_password_is_never_returned (test_validation.UserValidationTest.test_passwor test_password_length_limits (test_validation.UserValidationTest.test_password_length_limits) ... ok ---------------------------------------------------------------------- -Ran 142 tests in 7.240s +Ran 127 tests in 7.860s OK diff --git a/evidence/04-persistence.txt b/evidence/04-persistence.txt index 2a75c2d..7730c80 100644 --- a/evidence/04-persistence.txt +++ b/evidence/04-persistence.txt @@ -1,15 +1,15 @@ # Сохранность: перезапуск всего стенда с сохранением volumes, включая оригинал файла -# дата: 2026-10-30T19:58Z, чистый clone +# дата: 2026-10-31T00:56Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 # до перезапуска -/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:29.088370587Z -/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:29.209140045Z -/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:29.085001378Z -/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:29.300703295Z -/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:11.349641968Z -/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:11.345301093Z -/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:11.372245384Z +/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:55:51.019629833Z +/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:55:51.155422333Z +/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:55:51.019948375Z +/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:55:51.246447042Z +/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:55:33.238815464Z +/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:55:33.238242006Z +/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:55:33.268518673Z $ cat scripts/restart.sh #!/bin/sh @@ -33,13 +33,13 @@ Executing explicit persistence hook; hook output suppressed to avoid leaking sec PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. # после перезапуска: новое время старта у всех контейнеров -/mtusi-messenger-lab4-api-1 StartedAt=2026-10-30T19:58:43.982991844Z -/mtusi-messenger-lab4-api-2 StartedAt=2026-10-30T19:58:44.040335636Z -/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-30T19:58:43.669196927Z -/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-30T19:58:43.367738094Z -/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-30T19:58:43.452856427Z -/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-30T19:58:43.413552302Z -/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-30T19:58:44.201471136Z +/mtusi-messenger-lab4-api-1 StartedAt=2026-10-31T00:56:08.283900967Z +/mtusi-messenger-lab4-api-2 StartedAt=2026-10-31T00:56:08.204635217Z +/mtusi-messenger-lab4-janitor-1 StartedAt=2026-10-31T00:56:08.100580008Z +/mtusi-messenger-lab4-lb-1 StartedAt=2026-10-31T00:56:07.638958341Z +/mtusi-messenger-lab4-postgres-1 StartedAt=2026-10-31T00:56:07.709906466Z +/mtusi-messenger-lab4-redis-1 StartedAt=2026-10-31T00:56:07.679625675Z +/mtusi-messenger-lab4-s3-1 StartedAt=2026-10-31T00:56:08.466819675Z $ docker volume ls --filter name=mtusi-messenger-lab4 DRIVER VOLUME NAME @@ -49,15 +49,15 @@ local mtusi-messenger-lab4_s3data # повторный запуск миграций и создания bucket $ docker compose --env-file .env run --rm --no-deps migrate - Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Creating - Container mtusi-messenger-lab4-migrate-run-5b40a0f89a6a Created + Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Creating + Container mtusi-messenger-lab4-migrate-run-cf6cc716b21e Created уже применена: 0001_init.sql уже применена: 0002_idempotency.sql уже применена: 0003_attachments.sql $ docker compose --env-file .env run --rm --no-deps s3-init - Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Creating - Container mtusi-messenger-lab4-s3-init-run-0ac64ba9510a Created + Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Creating + Container mtusi-messenger-lab4-s3-init-run-1a7c3702d2be Created bucket уже есть: messenger-attachments пробная запись прошла diff --git a/evidence/05-failover-public.txt b/evidence/05-failover-public.txt index ed95613..c065e84 100644 --- a/evidence/05-failover-public.txt +++ b/evidence/05-failover-public.txt @@ -1,88 +1,88 @@ # Публичный failover: файл загружен, обслужившая реплика остановлена, скачивание через другую; два прогона -# дата: 2026-10-30T19:59Z, чистый clone +# дата: 2026-10-31T00:56Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 ## прогон 1 # реплики до отказа NAME STATE STATUS -mtusi-messenger-lab4-api-1 running Up 36 seconds (healthy) -mtusi-messenger-lab4-api-2 running Up 36 seconds (healthy) +mtusi-messenger-lab4-api-1 running Up 38 seconds (healthy) +mtusi-messenger-lab4-api-2 running Up 38 seconds (healthy) $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.97} +{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 2.065} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. # какой контейнер реально остановлен NAME STATE STATUS -mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago -mtusi-messenger-lab4-api-2 running Up 52 seconds (healthy) +mtusi-messenger-lab4-api-1 running Up 53 seconds (healthy) +mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago $ make restore docker compose --env-file .env up -d --no-recreate --no-build api - Container mtusi-messenger-lab4-postgres-1 Running Container mtusi-messenger-lab4-redis-1 Running Container mtusi-messenger-lab4-s3-1 Running - Container mtusi-messenger-lab4-api-2 Running + Container mtusi-messenger-lab4-postgres-1 Running + Container mtusi-messenger-lab4-api-1 Running Container mtusi-messenger-lab4-postgres-1 Waiting Container mtusi-messenger-lab4-s3-1 Waiting Container mtusi-messenger-lab4-s3-1 Healthy Container mtusi-messenger-lab4-postgres-1 Healthy Container mtusi-messenger-lab4-migrate-1 Starting Container mtusi-messenger-lab4-s3-init-1 Starting - Container mtusi-messenger-lab4-migrate-1 Started Container mtusi-messenger-lab4-s3-init-1 Started - Container mtusi-messenger-lab4-migrate-1 Waiting + Container mtusi-messenger-lab4-migrate-1 Started Container mtusi-messenger-lab4-redis-1 Waiting Container mtusi-messenger-lab4-s3-init-1 Waiting + Container mtusi-messenger-lab4-migrate-1 Waiting Container mtusi-messenger-lab4-redis-1 Healthy - Container mtusi-messenger-lab4-s3-init-1 Exited Container mtusi-messenger-lab4-migrate-1 Exited - Container mtusi-messenger-lab4-api-1 Starting - Container mtusi-messenger-lab4-api-1 Started + Container mtusi-messenger-lab4-s3-init-1 Exited + Container mtusi-messenger-lab4-api-2 Starting + Container mtusi-messenger-lab4-api-2 Started BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh готов: http://localhost:8080 ## прогон 2 # реплики до отказа NAME STATE STATUS -mtusi-messenger-lab4-api-1 running Up 4 seconds (healthy) -mtusi-messenger-lab4-api-2 running Up 58 seconds (healthy) +mtusi-messenger-lab4-api-1 running Up 59 seconds (healthy) +mtusi-messenger-lab4-api-2 running Up 4 seconds (healthy) $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.731} +{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 1.691} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. # какой контейнер реально остановлен NAME STATE STATUS -mtusi-messenger-lab4-api-1 exited Exited (0) 14 seconds ago -mtusi-messenger-lab4-api-2 running Up About a minute (healthy) +mtusi-messenger-lab4-api-1 running Up About a minute (healthy) +mtusi-messenger-lab4-api-2 exited Exited (0) 14 seconds ago $ make restore docker compose --env-file .env up -d --no-recreate --no-build api Container mtusi-messenger-lab4-s3-1 Running - Container mtusi-messenger-lab4-postgres-1 Running Container mtusi-messenger-lab4-redis-1 Running - Container mtusi-messenger-lab4-api-2 Running - Container mtusi-messenger-lab4-postgres-1 Waiting + Container mtusi-messenger-lab4-postgres-1 Running + Container mtusi-messenger-lab4-api-1 Running Container mtusi-messenger-lab4-s3-1 Waiting - Container mtusi-messenger-lab4-s3-1 Healthy + Container mtusi-messenger-lab4-postgres-1 Waiting Container mtusi-messenger-lab4-postgres-1 Healthy + Container mtusi-messenger-lab4-s3-1 Healthy Container mtusi-messenger-lab4-migrate-1 Starting Container mtusi-messenger-lab4-s3-init-1 Starting - Container mtusi-messenger-lab4-s3-init-1 Started Container mtusi-messenger-lab4-migrate-1 Started + Container mtusi-messenger-lab4-s3-init-1 Started + Container mtusi-messenger-lab4-migrate-1 Waiting Container mtusi-messenger-lab4-redis-1 Waiting Container mtusi-messenger-lab4-s3-init-1 Waiting - Container mtusi-messenger-lab4-migrate-1 Waiting Container mtusi-messenger-lab4-redis-1 Healthy - Container mtusi-messenger-lab4-migrate-1 Exited Container mtusi-messenger-lab4-s3-init-1 Exited - Container mtusi-messenger-lab4-api-1 Starting - Container mtusi-messenger-lab4-api-1 Started + Container mtusi-messenger-lab4-migrate-1 Exited + Container mtusi-messenger-lab4-api-2 Starting + Container mtusi-messenger-lab4-api-2 Started BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh готов: http://localhost:8080 diff --git a/evidence/06-failover-each.txt b/evidence/06-failover-each.txt index a70f41e..b145f43 100644 --- a/evidence/06-failover-each.txt +++ b/evidence/06-failover-each.txt @@ -1,10 +1,10 @@ # Остановка каждой реплики под нагрузкой (SIGTERM), полные данные в failover-each.json -# дата: 2026-10-30T20:00Z, чистый clone +# дата: 2026-10-31T00:57Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ make failover-each BASE_URL="http://localhost:8080" python3 scripts/chaos.py stop --output evidence/failover-each.json -{"seconds": 17.89, "successful_requests": 10761, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 601.6, "longest_gap_between_successes_s": 1.027, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": 12.886, "instances_seen": 2, "target": "b4e0f5de7608", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 0.9, "verify": {"confirmed": 10761, "in_history": 10761, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} -{"seconds": 19.96, "successful_requests": 11872, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 594.9, "longest_gap_between_successes_s": 1.015, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 14.955, "instances_seen": 2, "target": "6f14dc16ebf3", "signal": "SIGTERM", "stop_command_s": 0.61, "excluded_by_lb_after_s": 1.51, "verify": {"confirmed": 11872, "in_history": 11872, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 18.19, "successful_requests": 8333, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 458.1, "longest_gap_between_successes_s": 0.997, "first_success_after_action_s": 0.004, "last_success_on_target_after_action_s": 13.188, "instances_seen": 2, "target": "e0ce1c223b49", "signal": "SIGTERM", "stop_command_s": 0.59, "excluded_by_lb_after_s": 1.63, "verify": {"confirmed": 8333, "in_history": 8333, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 19.85, "successful_requests": 9258, "failed_attempts": 1, "failed_statuses": [502], "successful_rps": 466.3, "longest_gap_between_successes_s": 1.016, "first_success_after_action_s": 0.005, "last_success_on_target_after_action_s": 14.853, "instances_seen": 2, "target": "6e7001b3af3a", "signal": "SIGTERM", "stop_command_s": 0.66, "excluded_by_lb_after_s": 0.78, "verify": {"confirmed": 9258, "in_history": 9258, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} PASS: подтверждённые сообщения на месте, дублей нет diff --git a/evidence/07-rolling-update.txt b/evidence/07-rolling-update.txt index a5cb1d7..7d31094 100644 --- a/evidence/07-rolling-update.txt +++ b/evidence/07-rolling-update.txt @@ -1,16 +1,16 @@ # Поочерёдная замена реплик под нагрузкой, полные данные в rolling-update.json -# дата: 2026-10-30T20:00Z, чистый clone +# дата: 2026-10-31T00:58Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 # образы до замены -/mtusi-messenger-lab4-api-1 sha256:693fe62509aa4bc5ff409c715e21da0f894 -/mtusi-messenger-lab4-api-2 sha256:693fe62509aa4bc5ff409c715e21da0f894 +/mtusi-messenger-lab4-api-1 sha256:53d2e279c4c191e566b6dd52082c532a7a4 +/mtusi-messenger-lab4-api-2 sha256:53d2e279c4c191e566b6dd52082c532a7a4 $ make rolling-update APP_VERSION=2 BASE_URL="http://localhost:8080" python3 scripts/chaos.py rolling --output evidence/rolling-update.json -{"seconds": 25.51, "successful_requests": 17974, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 704.5, "longest_gap_between_successes_s": 1.001, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 15.51, "containers_before": {"b4e0f5de7608": "sha256:693fe62509aa", "6f14dc16ebf3": "sha256:693fe62509aa"}, "containers_after": {"abc646dd09cf": "sha256:bdbd0270135d", "d7f52b7d6c23": "sha256:bdbd0270135d"}, "app_version": "2", "verify": {"confirmed": 17974, "in_history": 17974, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 24.77, "successful_requests": 13125, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 529.8, "longest_gap_between_successes_s": 0.995, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 14.77, "containers_before": {"e0ce1c223b49": "sha256:53d2e279c4c1", "6e7001b3af3a": "sha256:53d2e279c4c1"}, "containers_after": {"504924bd9076": "sha256:e71bfdb1c725", "ec77c0e85d5c": "sha256:e71bfdb1c725"}, "app_version": "2", "verify": {"confirmed": 13125, "in_history": 13125, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} PASS: подтверждённые сообщения на месте, дублей нет # образы и версия после замены -/mtusi-messenger-lab4-api-3 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2 -/mtusi-messenger-lab4-api-4 sha256:bdbd0270135d576aecc5d4df3c91c41eb31 APP_VERSION=2 +/mtusi-messenger-lab4-api-3 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2 +/mtusi-messenger-lab4-api-4 sha256:e71bfdb1c7251e1ff3cba0fe406a31058f3 APP_VERSION=2 diff --git a/evidence/08-failures.txt b/evidence/08-failures.txt index 96bb729..dd59ddb 100644 --- a/evidence/08-failures.txt +++ b/evidence/08-failures.txt @@ -1,5 +1,5 @@ # Тесты отказов: сбой между S3 и БД, отказ S3, приватность bucket, истечение, отказ Redis и PostgreSQL, транзакции -# дата: 2026-10-30T20:01Z, чистый clone +# дата: 2026-10-31T00:58Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ make test-failures @@ -35,9 +35,9 @@ test_username_race_creates_one_row (test_transactions.TransactionTest.test_usern test_valid_chat_is_committed_whole (test_transactions.TransactionTest.test_valid_chat_is_committed_whole) ... ok ---------------------------------------------------------------------- -Ran 27 tests in 301.600s +Ran 27 tests in 310.107s OK -подтверждено 6, в S3 без подтверждения 8, после очистки расхождений нет +подтверждено 3, в S3 без подтверждения 8, после очистки расхождений нет diff --git a/evidence/09-upload-memory.txt b/evidence/09-upload-memory.txt index 2c94536..0b2078e 100644 --- a/evidence/09-upload-memory.txt +++ b/evidence/09-upload-memory.txt @@ -1,41 +1,46 @@ -# Память при одновременных загрузках, полные данные в upload-peak.json -# дата: 2026-10-30T20:06Z, чистый clone +# Память при одновременных загрузках, полные данные последнего прогона в upload-peak.json +# дата: 2026-10-31T01:03Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 # пять прогонов подряд: один удачный ничего не доказывает $ make upload-peak BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json -{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 116.9, "cgroup_peak_mib": 98.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.3}}} -{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.29, "slowest_upload_s": 1.29, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 123.8, "cgroup_peak_mib": 160.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 160.2}}} -{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.79, "slowest_upload_s": 3.78, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.9, "cgroup_peak_mib": 258.8}}} +{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}} +{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.53, "slowest_upload_s": 1.53, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 125.7, "cgroup_peak_mib": 165.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.8, "cgroup_peak_mib": 156.3}}} +{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.65, "slowest_upload_s": 6.64, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.6, "cgroup_peak_mib": 269.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.5, "cgroup_peak_mib": 270.6}}} +{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.47, "slowest_upload_s": 1.47, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 439.9, "cgroup_peak_mib": 431.0}}} PASS: все загрузки успешны $ make upload-peak BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json -{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.76, "slowest_upload_s": 1.76, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 110.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.3, "cgroup_peak_mib": 110.6}}} -{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.32, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.0, "cgroup_peak_mib": 161.9}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 158.7}}} -{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 3.88, "slowest_upload_s": 3.87, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.2, "cgroup_peak_mib": 256.4}, "d7f52b7d6c23": {"process_peak_rss_mib": 125.8, "cgroup_peak_mib": 256.5}}} +{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.16, "slowest_upload_s": 0.16, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 98.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 109.0}}} +{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.49, "slowest_upload_s": 1.49, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 168.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 168.8}}} +{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.89, "slowest_upload_s": 4.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.3}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.6, "cgroup_peak_mib": 269.6}}} +{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.42, "slowest_upload_s": 1.42, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 435.1, "cgroup_peak_mib": 426.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 435.3, "cgroup_peak_mib": 427.2}}} PASS: все загрузки успешны $ make upload-peak BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json -{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 1.83, "slowest_upload_s": 1.83, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.4, "cgroup_peak_mib": 99.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.6}}} -{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.34, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.2, "cgroup_peak_mib": 176.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 168.9}}} -{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 4.48, "slowest_upload_s": 4.48, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 126.0, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 256.5}}} +{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.17, "slowest_upload_s": 0.17, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 110.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 117.0, "cgroup_peak_mib": 99.1}}} +{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.6, "slowest_upload_s": 1.6, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 161.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 163.2}}} +{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.01, "slowest_upload_s": 7.0, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 129.6, "cgroup_peak_mib": 272.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 130.0, "cgroup_peak_mib": 273.6}}} +{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.35, "slowest_upload_s": 1.35, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 438.4, "cgroup_peak_mib": 429.9}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.9, "cgroup_peak_mib": 430.5}}} PASS: все загрузки успешны $ make upload-peak BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json -{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.8, "cgroup_peak_mib": 110.8}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.1, "cgroup_peak_mib": 98.4}}} -{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.92, "slowest_upload_s": 2.92, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 125.6, "cgroup_peak_mib": 175.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.4, "cgroup_peak_mib": 163.7}}} -{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.3, "slowest_upload_s": 6.29, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 129.2, "cgroup_peak_mib": 256.1}, "d7f52b7d6c23": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 256.1}}} +{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.15, "slowest_upload_s": 0.15, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 116.7, "cgroup_peak_mib": 110.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 119.4, "cgroup_peak_mib": 112.6}}} +{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 1.34, "slowest_upload_s": 1.33, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.6, "cgroup_peak_mib": 160.7}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.9, "cgroup_peak_mib": 161.4}}} +{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 7.19, "slowest_upload_s": 7.18, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 126.5, "cgroup_peak_mib": 266.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 126.7, "cgroup_peak_mib": 267.5}}} +{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.31, "slowest_upload_s": 1.31, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.9, "cgroup_peak_mib": 429.2}, "ec77c0e85d5c": {"process_peak_rss_mib": 438.0, "cgroup_peak_mib": 429.1}}} PASS: все загрузки успешны $ make upload-peak BASE_URL="http://localhost:8080" python3 scripts/upload_peak.py --output evidence/upload-peak.json -{"parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.48, "slowest_upload_s": 0.48, "statuses": {"201": 1}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "d7f52b7d6c23": {"process_peak_rss_mib": 117.5, "cgroup_peak_mib": 110.2}}} -{"parallel_uploads": 10, "file_bytes": 10481664, "seconds": 3.87, "slowest_upload_s": 3.87, "statuses": {"201": 10}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 124.3, "cgroup_peak_mib": 163.7}, "d7f52b7d6c23": {"process_peak_rss_mib": 124.1, "cgroup_peak_mib": 164.1}}} -{"parallel_uploads": 30, "file_bytes": 10481664, "seconds": 6.43, "slowest_upload_s": 6.42, "statuses": {"201": 30}, "memory": {"abc646dd09cf": {"process_peak_rss_mib": 127.3, "cgroup_peak_mib": 256.0}, "d7f52b7d6c23": {"process_peak_rss_mib": 126.9, "cgroup_peak_mib": 256.0}}} +{"file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, "seconds": 0.14, "slowest_upload_s": 0.14, "statuses": {"201": 1}, "memory": {"504924bd9076": {"process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5}, "ec77c0e85d5c": {"process_peak_rss_mib": 116.6, "cgroup_peak_mib": 110.2}}} +{"file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, "seconds": 2.1, "slowest_upload_s": 2.09, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 123.7, "cgroup_peak_mib": 166.6}, "ec77c0e85d5c": {"process_peak_rss_mib": 123.5, "cgroup_peak_mib": 160.5}}} +{"file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, "seconds": 5.88, "slowest_upload_s": 5.88, "statuses": {"201": 30}, "memory": {"504924bd9076": {"process_peak_rss_mib": 128.8, "cgroup_peak_mib": 274.4}, "ec77c0e85d5c": {"process_peak_rss_mib": 128.3, "cgroup_peak_mib": 273.9}}} +{"file": "прогрессивный CMYK JPEG, 40 млн пикселей", "parallel_uploads": 10, "file_bytes": 2642657, "seconds": 1.45, "slowest_upload_s": 1.44, "statuses": {"201": 10}, "memory": {"504924bd9076": {"process_peak_rss_mib": 437.6, "cgroup_peak_mib": 433.8}, "ec77c0e85d5c": {"process_peak_rss_mib": 437.3, "cgroup_peak_mib": 433.0}}} PASS: все загрузки успешны # S3 за все прогоны: перезапуски и OOM @@ -43,3 +48,8 @@ restarts=0 oom=false oom 0 oom_kill 0 oom_group_kill 0 +# реплики API за все прогоны: OOM +restarts=0 oom=false +oom_kill 0 +restarts=0 oom=false +oom_kill 0 diff --git a/evidence/10-containers.txt b/evidence/10-containers.txt index c30f207..00e0f9e 100644 --- a/evidence/10-containers.txt +++ b/evidence/10-containers.txt @@ -1,5 +1,5 @@ # Контейнеры: лимиты, порты, сети, секреты, права ключа S3 -# дата: 2026-10-30T20:07Z, чистый clone +# дата: 2026-10-31T01:05Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ docker compose ps # опубликован только lb, консоль S3 наружу не открыта @@ -16,8 +16,8 @@ $ grep -c container_name compose.yaml 0 # лимиты CPU (в наносекундах на секунду) и памяти (байт) -/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=268435456 -/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=268435456 +/mtusi-messenger-lab4-api-3 cpus=1000000000 memory=536870912 +/mtusi-messenger-lab4-api-4 cpus=1000000000 memory=536870912 /mtusi-messenger-lab4-janitor-1 cpus=250000000 memory=134217728 /mtusi-messenger-lab4-lb-1 cpus=500000000 memory=134217728 /mtusi-messenger-lab4-postgres-1 cpus=1000000000 memory=536870912 @@ -32,7 +32,7 @@ s3 mtusi-messenger-lab4_storage postgres mtusi-messenger-lab4_data redis mtusi-messenger-lab4_data -$ docker exec abc646dd09cf id +$ docker exec 504924bd9076 id uid=10001(app) gid=10001(app) groups=10001(app) $ docker exec ls /run/secrets # ключа администратора S3 у API нет @@ -41,20 +41,20 @@ database_url s3_access_key_id s3_secret_access_key -$ docker exec env | grep -ci "password\|postgresql://\|redis://\|secret_access_key=" +$ docker exec env | grep -ci "password\|postgresql://\|redis://" 0 $ docker compose --env-file .env images CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED -mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago -mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 bdbd0270135d 230MB 9 minutes ago -mtusi-messenger-lab4-janitor-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago -mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 30 minutes ago -mtusi-messenger-lab4-migrate-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago +mtusi-messenger-lab4-api-3 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago +mtusi-messenger-lab4-api-4 mtusi-messenger lab4 linux/arm64 e71bfdb1c725 252MB 22 minutes ago +mtusi-messenger-lab4-janitor-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago +mtusi-messenger-lab4-lb-1 mtusi-messenger-lb lab4 linux/arm64 874b8c49635f 38.8MB 5 hours ago +mtusi-messenger-lab4-migrate-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago mtusi-messenger-lab4-postgres-1 postgres 17.11-alpine linux/arm64/v8 25a89970a832 291MB 6 weeks ago mtusi-messenger-lab4-redis-1 redis 7.4.11-alpine linux/arm64/v8 ec4f171e9ff0 39.5MB 6 weeks ago -mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 31 minutes ago -mtusi-messenger-lab4-s3-init-1 sha256 693fe62509aa4bc5ff409c715e21da0f894a2223d5b0ba57cdaab4303cc12145 linux/arm64 693fe62509aa 230MB 9 minutes ago +mtusi-messenger-lab4-s3-1 mtusi-messenger-s3 lab4 linux/arm64 bb740ce2c254 509MB 5 hours ago +mtusi-messenger-lab4-s3-init-1 sha256 53d2e279c4c191e566b6dd52082c532a7a4c5bb9f9ee75cd2c8327a3bc8f5944 linux/arm64 53d2e279c4c1 252MB 22 minutes ago $ docker exec pip freeze annotated-doc==0.0.5 @@ -71,6 +71,7 @@ h11==0.16.0 idna==3.20 jmespath==1.1.0 opentelemetry-api==1.45.1 +pillow==13.0.0 psycopg==3.3.6 psycopg-binary==3.3.6 psycopg-pool==3.3.3 diff --git a/evidence/11-sigterm.txt b/evidence/11-sigterm.txt index 2ff0212..64cf3c5 100644 --- a/evidence/11-sigterm.txt +++ b/evidence/11-sigterm.txt @@ -1,12 +1,12 @@ # SIGTERM через балансировщик -# дата: 2026-10-30T20:07Z, чистый clone +# дата: 2026-10-31T01:05Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ python3 scripts/sigterm_check.py -$ docker kill --signal=SIGTERM abc646dd09cf +$ docker kill --signal=SIGTERM 504924bd9076 новых запросов после SIGTERM: 20, попало на останавливаемую реплику: 0 начатые до SIGTERM запросы: ['HTTP/1.1 201 Created'] из них завершила останавливаемая реплика: 3 -процесс завершился за 1.73 с, код выхода 0 +процесс завершился за 1.57 с, код выхода 0 PASS: остановка корректная и укладывается в 10 секунд diff --git a/evidence/12-explain.txt b/evidence/12-explain.txt index f8cba8e..4069e9a 100644 --- a/evidence/12-explain.txt +++ b/evidence/12-explain.txt @@ -1,5 +1,5 @@ # Индекс истории: EXPLAIN (ANALYZE, BUFFERS), объём данных в первой таблице вывода -# дата: 2026-10-30T20:07Z, чистый clone +# дата: 2026-10-31T01:05Z, чистый clone # стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 $ make explain @@ -7,22 +7,22 @@ $ make explain == Объём данных messages_total | messages_in_chat | table_size | index_size ----------------+------------------+------------+------------ - 101045 | 10000 | 11 MB | 9544 kB + 91163 | 10000 | 10120 kB | 8968 kB (1 row) == 1. Первая страница (limit 50, запрос берёт 51 строку) QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------ - Limit (cost=0.42..729.05 rows=51 width=112) (actual time=0.028..0.228 rows=51 loops=1) - Buffers: shared hit=63 - -> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.023..0.219 rows=51 loops=1) + Limit (cost=0.42..726.39 rows=51 width=112) (actual time=0.031..0.253 rows=51 loops=1) + Buffers: shared hit=64 + -> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.031..0.249 rows=51 loops=1) Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid) - Buffers: shared hit=63 + Buffers: shared hit=64 SubPlan 1 -> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51) Buffers: shared hit=54 - -> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51) + -> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51) Sort Key: a."position" Sort Method: quicksort Memory: 25kB Buffers: shared hit=54 @@ -33,24 +33,24 @@ $ make explain Index Cond: (message_id = messages.id) Buffers: shared hit=51 Planning: - Buffers: shared hit=76 - Planning Time: 0.174 ms - Execution Time: 0.255 ms + Buffers: shared hit=78 + Planning Time: 0.235 ms + Execution Time: 0.286 ms (22 rows) == 2. Страница из середины истории: keyset после 5000-го сообщения QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=0.42..738.40 rows=51 width=112) (actual time=0.013..0.198 rows=51 loops=1) + Limit (cost=0.42..735.98 rows=51 width=112) (actual time=0.017..0.251 rows=51 loops=1) Buffers: shared hit=59 - -> Index Scan using messages_chat_history_idx on messages (cost=0.42..101986.67 rows=7048 width=112) (actual time=0.013..0.196 rows=51 loops=1) - Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid))) + -> Index Scan using messages_chat_history_idx on messages (cost=0.42..98594.86 rows=6836 width=112) (actual time=0.017..0.248 rows=51 loops=1) + Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid))) Buffers: shared hit=59 SubPlan 1 - -> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.003..0.003 rows=1 loops=51) + -> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.004..0.004 rows=1 loops=51) Buffers: shared hit=51 - -> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.002..0.002 rows=0 loops=51) + -> Sort (cost=13.74..13.76 rows=6 width=20) (actual time=0.003..0.003 rows=0 loops=51) Sort Key: a."position" Sort Method: quicksort Memory: 25kB Buffers: shared hit=51 @@ -60,19 +60,19 @@ $ make explain -> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=51) Index Cond: (message_id = messages.id) Buffers: shared hit=51 - Planning Time: 0.045 ms - Execution Time: 0.232 ms + Planning Time: 0.052 ms + Execution Time: 0.291 ms (20 rows) == 3. Та же страница через OFFSET (так делать не стали) QUERY PLAN -------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=71434.79..72163.43 rows=51 width=112) (actual time=5.082..5.132 rows=51 loops=1) - Buffers: shared hit=5552 - -> Index Scan using messages_chat_history_idx on messages (cost=0.42..142912.03 rows=10003 width=112) (actual time=0.012..5.035 rows=5051 loops=1) + Limit (cost=71174.26..71900.24 rows=51 width=112) (actual time=6.185..6.246 rows=51 loops=1) + Buffers: shared hit=5551 + -> Index Scan using messages_chat_history_idx on messages (cost=0.42..145123.89 rows=10195 width=112) (actual time=0.012..6.130 rows=5051 loops=1) Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid) - Buffers: shared hit=5552 + Buffers: shared hit=5551 SubPlan 1 -> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=5051) Buffers: shared hit=5051 @@ -86,26 +86,26 @@ $ make explain -> Bitmap Index Scan on message_attachments_pkey (cost=0.00..4.20 rows=6 width=0) (actual time=0.000..0.000 rows=0 loops=5051) Index Cond: (message_id = messages.id) Buffers: shared hit=5051 - Planning Time: 0.032 ms - Execution Time: 5.152 ms + Planning Time: 0.038 ms + Execution Time: 6.266 ms (20 rows) == 4. Запрос из пункта 2 без индекса messages_chat_history_idx (DROP INDEX внутри транзакции с ROLLBACK) QUERY PLAN --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=3400.42..4104.22 rows=51 width=112) (actual time=3.126..3.183 rows=51 loops=1) - Buffers: shared hit=1454 - -> Result (cost=3400.42..100662.45 rows=7048 width=112) (actual time=3.125..3.180 rows=51 loops=1) - Buffers: shared hit=1454 - -> Sort (cost=3400.42..3418.04 rows=7048 width=80) (actual time=3.098..3.100 rows=51 loops=1) + Limit (cost=3088.42..3792.21 rows=51 width=112) (actual time=3.362..3.425 rows=51 loops=1) + Buffers: shared hit=1322 + -> Result (cost=3088.42..97424.85 rows=6836 width=112) (actual time=3.362..3.422 rows=51 loops=1) + Buffers: shared hit=1322 + -> Sort (cost=3088.42..3105.51 rows=6836 width=80) (actual time=3.343..3.345 rows=51 loops=1) Sort Key: messages.created_at, messages.id Sort Method: top-N heapsort Memory: 31kB - Buffers: shared hit=1403 - -> Seq Scan on messages (cost=0.00..3165.29 rows=7048 width=80) (actual time=1.800..2.874 rows=5000 loops=1) - Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 11:47:36.896462+00'::timestamp with time zone, '0c56411c-acb3-420b-bd20-5ac5ed7ab8a2'::uuid))) - Rows Removed by Filter: 96045 - Buffers: shared hit=1397 + Buffers: shared hit=1271 + -> Seq Scan on messages (cost=0.00..2860.35 rows=6836 width=80) (actual time=1.866..3.076 rows=5000 loops=1) + Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 16:45:29.612108+00'::timestamp with time zone, '6dacd396-f0bd-431e-8871-9e3bb7792539'::uuid))) + Rows Removed by Filter: 86163 + Buffers: shared hit=1265 SubPlan 1 -> Aggregate (cost=13.78..13.79 rows=1 width=32) (actual time=0.001..0.001 rows=1 loops=51) Buffers: shared hit=51 @@ -121,8 +121,8 @@ $ make explain Buffers: shared hit=51 Planning: Buffers: shared hit=4 - Planning Time: 0.050 ms - Execution Time: 3.202 ms + Planning Time: 0.057 ms + Execution Time: 3.455 ms (29 rows) diff --git a/evidence/failover-each.json b/evidence/failover-each.json index bb8deba..89c56ec 100644 --- a/evidence/failover-each.json +++ b/evidence/failover-each.json @@ -3,22 +3,22 @@ "mode": "stop", "rounds": [ { - "seconds": 17.89, - "successful_requests": 10761, + "seconds": 18.19, + "successful_requests": 8333, "failed_attempts": 0, "failed_statuses": [], - "successful_rps": 601.6, - "longest_gap_between_successes_s": 1.027, - "first_success_after_action_s": 0.003, - "last_success_on_target_after_action_s": 12.886, + "successful_rps": 458.1, + "longest_gap_between_successes_s": 0.997, + "first_success_after_action_s": 0.004, + "last_success_on_target_after_action_s": 13.188, "instances_seen": 2, - "target": "b4e0f5de7608", + "target": "e0ce1c223b49", "signal": "SIGTERM", "stop_command_s": 0.59, - "excluded_by_lb_after_s": 0.9, + "excluded_by_lb_after_s": 1.63, "verify": { - "confirmed": 10761, - "in_history": 10761, + "confirmed": 8333, + "in_history": 8333, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, @@ -26,22 +26,24 @@ } }, { - "seconds": 19.96, - "successful_requests": 11872, - "failed_attempts": 0, - "failed_statuses": [], - "successful_rps": 594.9, - "longest_gap_between_successes_s": 1.015, - "first_success_after_action_s": 0.0, - "last_success_on_target_after_action_s": 14.955, + "seconds": 19.85, + "successful_requests": 9258, + "failed_attempts": 1, + "failed_statuses": [ + 502 + ], + "successful_rps": 466.3, + "longest_gap_between_successes_s": 1.016, + "first_success_after_action_s": 0.005, + "last_success_on_target_after_action_s": 14.853, "instances_seen": 2, - "target": "6f14dc16ebf3", + "target": "6e7001b3af3a", "signal": "SIGTERM", - "stop_command_s": 0.61, - "excluded_by_lb_after_s": 1.51, + "stop_command_s": 0.66, + "excluded_by_lb_after_s": 0.78, "verify": { - "confirmed": 11872, - "in_history": 11872, + "confirmed": 9258, + "in_history": 9258, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, diff --git a/evidence/rolling-update.json b/evidence/rolling-update.json index 2f530ae..9fc4498 100644 --- a/evidence/rolling-update.json +++ b/evidence/rolling-update.json @@ -3,28 +3,28 @@ "mode": "rolling", "rounds": [ { - "seconds": 25.51, - "successful_requests": 17974, + "seconds": 24.77, + "successful_requests": 13125, "failed_attempts": 0, "failed_statuses": [], - "successful_rps": 704.5, - "longest_gap_between_successes_s": 1.001, - "first_success_after_action_s": 0.003, + "successful_rps": 529.8, + "longest_gap_between_successes_s": 0.995, + "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": null, "instances_seen": 4, - "update_seconds": 15.51, + "update_seconds": 14.77, "containers_before": { - "b4e0f5de7608": "sha256:693fe62509aa", - "6f14dc16ebf3": "sha256:693fe62509aa" + "e0ce1c223b49": "sha256:53d2e279c4c1", + "6e7001b3af3a": "sha256:53d2e279c4c1" }, "containers_after": { - "abc646dd09cf": "sha256:bdbd0270135d", - "d7f52b7d6c23": "sha256:bdbd0270135d" + "504924bd9076": "sha256:e71bfdb1c725", + "ec77c0e85d5c": "sha256:e71bfdb1c725" }, "app_version": "2", "verify": { - "confirmed": 17974, - "in_history": 17974, + "confirmed": 13125, + "in_history": 13125, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, diff --git a/evidence/upload-peak.json b/evidence/upload-peak.json index 36e40fd..43a7c2e 100644 --- a/evidence/upload-peak.json +++ b/evidence/upload-peak.json @@ -1,74 +1,97 @@ { - "limit_per_replica_mib": 256, + "limit_per_replica_mib": 512, "replicas": 2, "levels": [ { "parallel_uploads": 0, "memory": { - "abc646dd09cf": { - "process_peak_rss_mib": 117.2, + "504924bd9076": { + "process_peak_rss_mib": 116.8, "cgroup_peak_mib": 110.5 }, - "d7f52b7d6c23": { - "process_peak_rss_mib": 117.1, + "ec77c0e85d5c": { + "process_peak_rss_mib": 116.6, "cgroup_peak_mib": 110.2 } } }, { + "file": "PNG 10 MiB", "parallel_uploads": 1, "file_bytes": 10481664, - "seconds": 0.48, - "slowest_upload_s": 0.48, + "seconds": 0.14, + "slowest_upload_s": 0.14, "statuses": { "201": 1 }, "memory": { - "abc646dd09cf": { + "504924bd9076": { "process_peak_rss_mib": 117.2, "cgroup_peak_mib": 110.5 }, - "d7f52b7d6c23": { - "process_peak_rss_mib": 117.5, + "ec77c0e85d5c": { + "process_peak_rss_mib": 116.6, "cgroup_peak_mib": 110.2 } } }, { + "file": "PNG 10 MiB", "parallel_uploads": 10, "file_bytes": 10481664, - "seconds": 3.87, - "slowest_upload_s": 3.87, + "seconds": 2.1, + "slowest_upload_s": 2.09, "statuses": { "201": 10 }, "memory": { - "abc646dd09cf": { - "process_peak_rss_mib": 124.3, - "cgroup_peak_mib": 163.7 + "504924bd9076": { + "process_peak_rss_mib": 123.7, + "cgroup_peak_mib": 166.6 }, - "d7f52b7d6c23": { - "process_peak_rss_mib": 124.1, - "cgroup_peak_mib": 164.1 + "ec77c0e85d5c": { + "process_peak_rss_mib": 123.5, + "cgroup_peak_mib": 160.5 } } }, { + "file": "PNG 10 MiB", "parallel_uploads": 30, "file_bytes": 10481664, - "seconds": 6.43, - "slowest_upload_s": 6.42, + "seconds": 5.88, + "slowest_upload_s": 5.88, "statuses": { "201": 30 }, "memory": { - "abc646dd09cf": { - "process_peak_rss_mib": 127.3, - "cgroup_peak_mib": 256.0 + "504924bd9076": { + "process_peak_rss_mib": 128.8, + "cgroup_peak_mib": 274.4 }, - "d7f52b7d6c23": { - "process_peak_rss_mib": 126.9, - "cgroup_peak_mib": 256.0 + "ec77c0e85d5c": { + "process_peak_rss_mib": 128.3, + "cgroup_peak_mib": 273.9 + } + } + }, + { + "file": "прогрессивный CMYK JPEG, 40 млн пикселей", + "parallel_uploads": 10, + "file_bytes": 2642657, + "seconds": 1.45, + "slowest_upload_s": 1.44, + "statuses": { + "201": 10 + }, + "memory": { + "504924bd9076": { + "process_peak_rss_mib": 437.6, + "cgroup_peak_mib": 433.8 + }, + "ec77c0e85d5c": { + "process_peak_rss_mib": 437.3, + "cgroup_peak_mib": 433.0 } } } diff --git a/requirements.txt b/requirements.txt index fa650f0..8c55b56 100644 --- a/requirements.txt +++ b/requirements.txt @@ -5,6 +5,7 @@ psycopg[binary,pool]==3.3.6 redis==8.1.0 argon2-cffi==25.1.0 boto3==1.43.122 +pillow==13.0.0 # Транзитивные, зафиксированы по pip freeze в python:3.13.16-slim-bookworm annotated-doc==0.0.5 annotated-types==0.8.0 diff --git a/scripts/upload_peak.py b/scripts/upload_peak.py index b111fb6..abd23a1 100755 --- a/scripts/upload_peak.py +++ b/scripts/upload_peak.py @@ -1,9 +1,12 @@ #!/usr/bin/env python3 -"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB. +"""Пик памяти реплик API при одновременных загрузках файлов около 10 MiB и самых тяжёлых JPEG. Перед замером реплики перезапускаются, чтобы обнулить VmHWM (пик памяти процесса). Уровни идут по возрастанию, поэтому VmHWM после каждого уровня показывает пик этого уровня. memory.peak контейнера больше: в него входит кэш страниц временных файлов, который система может освободить. + +Последний уровень — прогрессивный CMYK JPEG на 40 млн пикселей: декодер держит коэффициенты всего +изображения, это худший случай для памяти. Загрузки идут параллельно, декодирование по одному на реплику. """ import argparse import json @@ -20,6 +23,13 @@ from api import call, new_chat, new_user from samples import noisy_png LEVELS = (1, 10, 30) +HEAVY_UPLOADS = 10 +MAKE_HEAVY_JPEG = """ +import sys +from PIL import Image +image = Image.effect_noise((7300 // 16, 5470 // 16), 40).resize((7300, 5470)).convert("CMYK") +image.save(sys.stdout.buffer, "JPEG", quality=50, progressive=True) +""" def compose(*args): @@ -53,6 +63,12 @@ def wait_ready(): time.sleep(0.2) +def heavy_jpeg(): + # в отдельном контейнере: создание такого файла требует много памяти, реплику это не должно затрагивать + command = ["docker", "run", "--rm", "-i", "--memory=2g", "--entrypoint", "python", "mtusi-messenger:lab4", "-"] + return subprocess.run(command, input=MAKE_HEAVY_JPEG.encode(), check=True, capture_output=True).stdout + + def main(): parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) parser.add_argument("--output") @@ -64,20 +80,23 @@ def main(): chat = new_chat(user) path = "/api/v1/chats/%s/attachments?filename=peak.png" % urllib.parse.quote(chat["id"]) levels = [{"parallel_uploads": 0, "memory": memory()}] - for level in LEVELS: + + def run_level(level, content, content_type, label): started = time.monotonic() def post(_): sent = time.monotonic() - status = call("POST", path, raw=data, user=user, headers={"Content-Type": "image/png"}, timeout=60)[0] + headers = {"Content-Type": content_type} + status = call("POST", path, raw=content, user=user, headers=headers, timeout=60)[0] return status, time.monotonic() - sent with ThreadPoolExecutor(max_workers=level) as pool: results = list(pool.map(post, range(level))) statuses = [status for status, _ in results] entry = { + "file": label, "parallel_uploads": level, - "file_bytes": len(data), + "file_bytes": len(content), "seconds": round(time.monotonic() - started, 2), "slowest_upload_s": round(max(took for _, took in results), 2), "statuses": {str(s): statuses.count(s) for s in sorted(set(statuses))}, @@ -85,7 +104,11 @@ def main(): } print(json.dumps(entry, ensure_ascii=False)) levels.append(entry) - report = {"limit_per_replica_mib": 256, "replicas": 2, "levels": levels} + + for level in LEVELS: + run_level(level, data, "image/png", "PNG 10 MiB") + run_level(HEAVY_UPLOADS, heavy_jpeg(), "image/jpeg", "прогрессивный CMYK JPEG, 40 млн пикселей") + report = {"limit_per_replica_mib": 512, "replicas": 2, "levels": levels} if args.output: Path(args.output).write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n") if any(set(level.get("statuses", {"201": 1})) != {"201"} for level in levels): diff --git a/src/images.py b/src/images.py index 6c2448a..689b676 100644 --- a/src/images.py +++ b/src/images.py @@ -1,11 +1,19 @@ -"""Проверка PNG и JPEG по содержимому. Файл читается блоками, пиксели в память не распаковываются. +"""Проверка PNG и JPEG по содержимому, память ограничена. Размер изображения берётся из заголовка до любой работы с данными, поэтому decompression bomb -отсекается сразу. Данные PNG проверяются потоково: CRC каждого блока и распаковка с выбрасыванием -результата. У JPEG проверяется структура маркеров, но не содержимое сжатых данных: порча внутри скана -этой проверкой не обнаруживается. +отсекается сразу. + +PNG проверяется потоково без декодера: CRC блоков, порядок блоков, распаковка с выбрасыванием +результата, байт фильтра в начале каждой строки, точный объём данных. Память не зависит от размера +изображения, поэтому Pillow здесь не нужен. + +JPEG так проверить нельзя: чтобы понять, что в скане настоящие данные, их надо декодировать. Поэтому +сначала идёт быстрый разбор маркеров, а потом настоящий декодер с уменьшением в 8 раз. Обычный JPEG +при этом занимает несколько МБ. Прогрессивный хранит коэффициенты всего изображения, это до 2 байт на +отсчёт, то есть до 320 МБ на 40 млн пикселей CMYK, поэтому декодирование идёт по одному на реплику. """ import struct +import threading import zlib BLOCK = 64 * 1024 @@ -15,6 +23,17 @@ JPEG_SIGNATURE = b"\xff\xd8\xff" PNG_COLOR_TYPES = {0: ((1, 2, 4, 8, 16), 1), 2: ((8, 16), 3), 3: ((1, 2, 4, 8), 1), 4: ((8, 16), 2), 6: ((8, 16), 4)} # все маркеры SOF, кроме DHT (C4), JPG (C8) и DAC (CC), которые попадают в тот же диапазон JPEG_SOF = set(range(0xC0, 0xD0)) - {0xC4, 0xC8, 0xCC} +# кодирование Хаффмана: минимум 1 бит на блок. У арифметического (C9-CF) нижней границы нет +JPEG_HUFFMAN_SOF = {0xC0, 0xC1, 0xC2} +# каждый скан заставляет декодер пройти всё изображение, а в 10 MiB их можно уместить тысячи; +# настоящим файлам хватает нескольких десятков +MAX_JPEG_SCANS = 100 +PNG_CRITICAL_CHUNKS = {b"IHDR", b"PLTE", b"IDAT", b"IEND"} +# проходы Adam7: первая колонка, первая строка, шаг по колонкам, шаг по строкам +ADAM7_PASSES = ((0, 0, 8, 8), (4, 0, 8, 8), (0, 4, 4, 8), (2, 0, 4, 4), (0, 2, 2, 4), (1, 0, 2, 2), (0, 1, 1, 2)) + +# см. начало файла: не больше одного тяжёлого декодирования на реплику +decode_lock = threading.Lock() class NotAnImage(Exception): @@ -35,7 +54,8 @@ def inspect(file, max_pixels: int) -> str: return "image/png" if head[:3] == JPEG_SIGNATURE: file.seek(2) - check_jpeg(file, max_pixels) + check_jpeg_structure(file, max_pixels) + decode_jpeg(file) return "image/jpeg" except (struct.error, zlib.error, ValueError) as error: raise NotAnImage() from error @@ -49,22 +69,65 @@ def check_size(width: int, height: int, max_pixels: int) -> None: raise TooManyPixels() -def png_raw_size(width: int, height: int, bits_per_pixel: int) -> int: - """Размер распакованных данных без чересстрочности: строки плюс байт фильтра на каждую.""" - return height * (1 + (width * bits_per_pixel + 7) // 8) +def png_passes(width: int, height: int, bits_per_pixel: int, interlaced: bool) -> list: + """Группы строк распакованных данных: (длина строки вместе с байтом фильтра, число строк).""" + if not interlaced: + return [(1 + (width * bits_per_pixel + 7) // 8, height)] + passes = [] + for column, row, column_step, row_step in ADAM7_PASSES: + columns = (width - column + column_step - 1) // column_step + rows = (height - row + row_step - 1) // row_step + if columns > 0 and rows > 0: # у маленького изображения часть проходов пуста + passes.append((1 + (columns * bits_per_pixel + 7) // 8, rows)) + return passes + + +class ScanlineFilters: + """Следит за байтами фильтра в распакованном потоке, сами данные не хранит.""" + + def __init__(self, passes: list): + self.passes = iter(passes) + self.position = 0 # смещение начала следующего блока в распакованном потоке + self.next_filter = 0 # смещение следующего байта фильтра + self.row_size, self.rows_left = next(self.passes, (0, 0)) + self.expected = sum(size * rows for size, rows in passes) + + def feed(self, block: bytes) -> None: + end = self.position + len(block) + if end > self.expected: + raise NotAnImage() + while self.rows_left and self.next_filter < end: + start = self.next_filter - self.position + rows = min(self.rows_left, (len(block) - start + self.row_size - 1) // self.row_size) + # срез вместо цикла: строк может быть 40 млн, а Python проходит их слишком долго + if max(block[start:start + rows * self.row_size:self.row_size]) > 4: + raise NotAnImage() + self.next_filter += rows * self.row_size + self.rows_left -= rows + if not self.rows_left: + self.row_size, self.rows_left = next(self.passes, (0, 0)) + self.position = end def check_png(file, max_pixels: int) -> None: inflater = zlib.decompressobj() - header = None - limit = 0 - unpacked = 0 - interlaced = False + filters = None + seen_palette = False seen_data = False + data_finished = False + color = None while True: length, kind = struct.unpack(">I4s", read_exact(file, 8)) - if length >= 2**31 or (header is None and kind != b"IHDR"): + if length >= 2**31 or not kind.isalpha() or (filters is None and kind != b"IHDR"): raise NotAnImage() + # заглавная первая буква значит «без понимания этого блока файл читать нельзя» + if kind[0] < 0x61 and kind not in PNG_CRITICAL_CHUNKS: + raise NotAnImage() + if kind == b"IDAT": + if data_finished or (color == 3 and not seen_palette): + raise NotAnImage() + elif seen_data: + data_finished = True # блоки IDAT должны идти подряд crc = zlib.crc32(kind) remaining = length body = b"" @@ -74,53 +137,51 @@ def check_png(file, max_pixels: int) -> None: raise NotAnImage() remaining -= len(block) crc = zlib.crc32(block, crc) - if kind == b"IHDR": + if kind == b"IHDR" and len(body) <= 13: body += block elif kind == b"IDAT": seen_data = True - unpacked += inflate(inflater, block, limit - unpacked) + inflate(inflater, block, filters) if struct.unpack(">I", read_exact(file, 4))[0] != crc: raise NotAnImage() if kind == b"IHDR": - if header is not None or length != 13: + if filters is not None or length != 13: raise NotAnImage() - header = struct.unpack(">IIBBBBB", body) - width, height, depth, color, compression, filtering, interlace = header + width, height, depth, color, compression, filtering, interlace = struct.unpack(">IIBBBBB", body) depths, channels = PNG_COLOR_TYPES.get(color, ((), 0)) if depth not in depths or compression != 0 or filtering != 0 or interlace not in (0, 1): raise NotAnImage() check_size(width, height, max_pixels) - interlaced = interlace == 1 - limit = png_raw_size(width, height, depth * channels) - if interlaced: - # чересстрочная запись длиннее: у каждого из семи проходов свои байты фильтра - limit += 7 * height + limit // 4 + filters = ScanlineFilters(png_passes(width, height, depth * channels, interlace == 1)) + elif kind == b"PLTE": + if seen_palette or seen_data or color in (0, 4) or length == 0 or length % 3 or length > 768: + raise NotAnImage() + seen_palette = True elif kind == b"IEND": + if length != 0: + raise NotAnImage() break - if not seen_data or not inflater.eof or file.read(1): + if not seen_data or not inflater.eof or inflater.unused_data or file.read(1): raise NotAnImage() - if not interlaced and unpacked != limit: + if filters.position != filters.expected: raise NotAnImage() -def inflate(inflater, block: bytes, allowed: int) -> int: - """Распаковывает блок, не накапливая результат. Возвращает, сколько байт получилось.""" - total = 0 +def inflate(inflater, block: bytes, filters: ScanlineFilters) -> None: + """Распаковывает блок и проверяет строки, не накапливая результат.""" while block and not inflater.eof: - chunk = inflater.decompress(block, BLOCK) - total += len(chunk) - if total > allowed: - raise NotAnImage() + filters.feed(inflater.decompress(block, BLOCK)) block = inflater.unconsumed_tail - return total -def check_jpeg(file, max_pixels: int) -> None: +def check_jpeg_structure(file, max_pixels: int) -> None: + """Быстрая проверка маркеров: размер, число сканов, объём данных. Содержимое проверит декодер.""" file.seek(0, 2) end = file.tell() file.seek(2) - seen_frame = False - seen_scan = False + frame = None + scans = 0 + scan_bytes = 0 while True: if read_exact(file, 1) != b"\xff": raise NotAnImage() @@ -128,9 +189,7 @@ def check_jpeg(file, max_pixels: int) -> None: while marker == 0xFF: # перед маркером разрешены байты-заполнители marker = read_exact(file, 1)[0] if marker == 0xD9: # конец изображения; данные после него допустимы, так делают камеры - if seen_scan: - return - raise NotAnImage() + break if 0xD0 <= marker <= 0xD7 or marker == 0x01: continue if marker == 0x00 or marker == 0xD8: @@ -138,24 +197,44 @@ def check_jpeg(file, max_pixels: int) -> None: length = struct.unpack(">H", read_exact(file, 2))[0] if length < 2 or file.tell() + length - 2 > end: raise NotAnImage() + segment = read_exact(file, length - 2) if marker in JPEG_SOF: - if seen_frame or length < 8: + if frame is not None: raise NotAnImage() - height, width = struct.unpack(">xHH", read_exact(file, 5)) - check_size(width, height, max_pixels) - seen_frame = True - file.seek(length - 7, 1) - else: - file.seek(length - 2, 1) + frame = marker, parse_frame(segment, max_pixels) if marker == 0xDA: - if not seen_frame: + scans += 1 + if frame is None or scans > MAX_JPEG_SCANS: raise NotAnImage() - seen_scan = True - skip_scan(file) + scan_bytes += skip_scan(file) + if frame is None or not scans: + raise NotAnImage() + # без этой проверки декодер принял бы заголовки с почти пустым сканом: конец данных он считает предупреждением + if frame[0] in JPEG_HUFFMAN_SOF and scan_bytes * 8 < frame[1]: + raise NotAnImage() -def skip_scan(file) -> None: - """Проходит сжатые данные скана и оставляет файл на следующем маркере.""" +def parse_frame(segment: bytes, max_pixels: int) -> int: + """Проверяет заголовок кадра и возвращает число блоков изображения.""" + if len(segment) < 6: + raise NotAnImage() + _, height, width, components = struct.unpack(">BHHB", segment[:6]) + if components not in (1, 3, 4) or len(segment) != 6 + 3 * components: + raise NotAnImage() + check_size(width, height, max_pixels) + sampling = [segment[7 + 3 * index] for index in range(components)] + horizontal = [value >> 4 for value in sampling] + vertical = [value & 0x0F for value in sampling] + if not all(1 <= value <= 4 for value in horizontal + vertical): + raise NotAnImage() + mcu_columns = (width + 8 * max(horizontal) - 1) // (8 * max(horizontal)) + mcu_rows = (height + 8 * max(vertical) - 1) // (8 * max(vertical)) + return mcu_columns * mcu_rows * sum(h * v for h, v in zip(horizontal, vertical)) + + +def skip_scan(file) -> int: + """Проходит сжатые данные скана, оставляет файл на следующем маркере и возвращает их объём.""" + begin = file.tell() while True: start = file.tell() block = file.read(BLOCK) @@ -176,7 +255,23 @@ def skip_scan(file) -> None: position += 1 else: file.seek(start + position) - return + return start + position - begin + + +def decode_jpeg(file) -> None: + """Настоящее декодирование с уменьшением: файл принимается, только если декодер дошёл до конца.""" + from PIL import Image # здесь, а не в начале файла: разбор PNG декодера не требует + + file.seek(0) + with decode_lock: + try: + with Image.open(file, formats=["JPEG"]) as image: + image.draft(None, (max(1, image.width // 8), max(1, image.height // 8))) + image.load() + except MemoryError: + raise + except Exception as error: # у декодера нет единого исключения: OSError, SyntaxError, ValueError и другие + raise NotAnImage() from error def read_exact(file, size: int) -> bytes: diff --git a/student-tests/image/test_against_pillow.py b/student-tests/image/test_against_pillow.py new file mode 100644 index 0000000..b871994 --- /dev/null +++ b/student-tests/image/test_against_pillow.py @@ -0,0 +1,177 @@ +"""Сверка с настоящим декодером. Pillow здесь судья: загружает изображение полностью и без уменьшения. + +Главное правило: файл, который Pillow отвергает, отвергаем и мы. Обратное тоже проверяется на настоящих +файлах: всё, что Pillow умеет записать, должно приниматься. +""" +import io +import random +import struct +import sys +import unittest +import warnings +import zlib +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[2] +sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")] +from PIL import Image, ImageFile # noqa: E402 + +import images # noqa: E402 +from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402 + +LIMIT = 40_000_000 +ImageFile.LOAD_TRUNCATED_IMAGES = False +warnings.simplefilter("ignore") + + +def pillow_accepts(data): + try: + with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image: + image.load() + with Image.open(io.BytesIO(data), formats=["PNG", "JPEG"]) as image: + image.verify() + return True + except Exception: + return False + + +def we_accept(data): + try: + images.inspect(io.BytesIO(data), LIMIT) + return True + except (images.NotAnImage, images.TooManyPixels): + return False + + +def picture(mode, size=(64, 48)): + image = Image.effect_noise(size, 60).convert("RGB") + return image.convert(mode) if mode != "RGB" else image + + +def encoded(image, **options): + out = io.BytesIO() + image.save(out, **options) + return out.getvalue() + + +def valid_corpus(): + corpus = {} + for mode in ("1", "L", "LA", "P", "PA", "RGB", "RGBA", "I;16"): + try: + corpus["png-" + mode] = encoded(picture(mode), format="PNG") + except (OSError, ValueError): + pass + corpus["png-optimized"] = encoded(picture("RGB"), format="PNG", optimize=True) + corpus["png-1x1"] = encoded(picture("RGB", (1, 1)), format="PNG") + corpus["png-text"] = encoded(picture("L"), format="PNG", dpi=(72, 72)) + for mode in ("L", "RGB", "CMYK"): + corpus["jpeg-" + mode] = encoded(picture(mode), format="JPEG") + for subsampling in (0, 1, 2): + corpus["jpeg-sub-%d" % subsampling] = encoded(picture("RGB"), format="JPEG", subsampling=subsampling) + corpus["jpeg-progressive"] = encoded(picture("RGB"), format="JPEG", progressive=True) + corpus["jpeg-optimized"] = encoded(picture("RGB"), format="JPEG", optimize=True) + corpus["jpeg-restart"] = encoded(picture("RGB"), format="JPEG", restart_marker_blocks=4) + corpus["jpeg-1x1"] = encoded(picture("RGB", (1, 1)), format="JPEG") + corpus["jpeg-flat"] = encoded(Image.new("L", (512, 512), 128), format="JPEG") + corpus["jpeg-flat-progressive"] = encoded(Image.new("RGB", (512, 512), (9, 9, 9)), format="JPEG", progressive=True) + corpus["jpeg-exif"] = encoded(picture("RGB"), format="JPEG", exif=b"Exif\x00\x00MM\x00*\x00\x00\x00\x08\x00\x00") + corpus.update({name: data for name, (_, data) in REAL_IMAGES.items()}) + return corpus + + +class ValidFilesTest(unittest.TestCase): + def test_every_valid_file_is_accepted(self): + for name, data in valid_corpus().items(): + with self.subTest(name): + self.assertTrue(pillow_accepts(data), "образец сам не принят Pillow") + self.assertTrue(we_accept(data)) + + +class AgreementTest(unittest.TestCase): + def assert_no_false_accept(self, name, candidates): + false_accepts = [] + rejected = accepted = 0 + for data in candidates: + ours = we_accept(data) + theirs = pillow_accepts(data) + accepted += ours + rejected += not ours + if ours and not theirs: + false_accepts.append(data) + print("%s: принято %d, отвергнуто %d, принято вопреки Pillow %d" % (name, accepted, rejected, len(false_accepts))) + self.assertEqual(false_accepts[:1], [], "%s: принято %d файлов, которые Pillow отвергает" % (name, len(false_accepts))) + + def test_random_bytes_changed(self): + rng = random.Random(20261031) + corpus = valid_corpus() + + def mutated(): + for name, original in corpus.items(): + for _ in range(200): + data = bytearray(original) + for _ in range(rng.randint(1, 6)): + data[rng.randrange(len(data))] = rng.randrange(256) + yield bytes(data) + + self.assert_no_false_accept("замена байтов", mutated()) + + def test_cut_files(self): + rng = random.Random(1031) + corpus = valid_corpus() + + def cut(): + for original in corpus.values(): + for _ in range(40): + end = rng.randrange(len(original)) + yield original[:end] + yield original[:end] + b"\xff\xd9" + + self.assert_no_false_accept("обрезка", cut()) + + def test_png_with_recomputed_crc(self): + """Самый важный случай: заголовок и CRC верны, испорчено только содержимое. Именно такой файл и был в замечании.""" + rng = random.Random(7) + + def forged(): + for _ in range(1500): + width, height = rng.randint(1, 12), rng.randint(1, 12) + size = (1 + width * 3) * height + raw = bytearray(rng.choice(b"\x00\x01\x02\x03\x04") for _ in range(size)) + for _ in range(rng.randint(0, 3)): + raw[rng.randrange(size)] = rng.randrange(256) + yield make_png(width, height, bytes(raw)) + + self.assert_no_false_accept("PNG с верными CRC", forged()) + + def test_jpeg_with_headers_rebuilt(self): + rng = random.Random(9) + original = REAL_IMAGES["jpeg_baseline"][1] + scan = original.index(b"\xff\xda") + length = struct.unpack(">H", original[scan + 2:scan + 4])[0] + head = original[:scan + 2 + length] + + def forged(): + for _ in range(800): + body = bytes(rng.randrange(255) for _ in range(rng.randint(0, 300))) + yield head + body.replace(b"\xff", b"\x00") + b"\xff\xd9" + + self.assert_no_false_accept("JPEG с настоящими заголовками", forged()) + + def test_png_chunks_shuffled(self): + rng = random.Random(3) + signature = b"\x89PNG\r\n\x1a\n" + chunks = [b"IHDR", b"PLTE", b"IDAT", b"IEND", b"tEXt"] + + def forged(): + header = struct.pack(">IIBBBBB", 2, 2, 8, 3, 0, 0, 0) + bodies = {b"IHDR": header, b"PLTE": b"\x01\x02\x03", b"IDAT": zlib.compress(b"\x00\x00\x00" * 2), + b"IEND": b"", b"tEXt": b"a\x00b"} + for _ in range(600): + order = rng.choices(chunks, k=rng.randint(1, 6)) + yield signature + b"".join(png_chunk(kind, bodies[kind]) for kind in order) + + self.assert_no_false_accept("порядок блоков PNG", forged()) + + +if __name__ == "__main__": + unittest.main() diff --git a/student-tests/image/test_images.py b/student-tests/image/test_images.py new file mode 100644 index 0000000..75dc448 --- /dev/null +++ b/student-tests/image/test_images.py @@ -0,0 +1,288 @@ +"""Разбор изображений без сервера. Запускается внутри образа API (make test-images): нужен Pillow.""" +import io +import random +import struct +import sys +import unittest +import zlib +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[2] +sys.path[:0] = [str(ROOT / "src"), str(ROOT / "student-tests")] +import images # noqa: E402 +from samples import REAL_IMAGES, make_png, png_chunk # noqa: E402 + +LIMIT = 40_000_000 + + +def inspect(data, limit=LIMIT): + return images.inspect(io.BytesIO(data), limit) + + +class RealImagesTest(unittest.TestCase): + def test_real_images_are_accepted(self): + for name, (content_type, data) in REAL_IMAGES.items(): + with self.subTest(name): + self.assertEqual(inspect(data), content_type) + + def test_course_fixture(self): + path = ROOT / "tests/fixtures/sample.png" + self.assertEqual(inspect(path.read_bytes()), "image/png") + + def test_jpeg_with_data_after_end(self): + # камеры дописывают после конца изображения превью + self.assertEqual(inspect(REAL_IMAGES["jpeg_baseline"][1] + b"\xff\xd8" + b"x" * 50), "image/jpeg") + + def test_marker_on_block_border(self): + data = bytearray(REAL_IMAGES["jpeg_baseline"][1]) + start = data.index(b"\xff\xda") + length = struct.unpack(">H", data[start + 2:start + 4])[0] + padded = data[:start + 2 + length] + b"\x12" * (images.BLOCK - 3) + b"\xff\x00" * 40 + data[start + 2 + length:] + self.assertEqual(inspect(bytes(padded)), "image/jpeg") + + +class BrokenImagesTest(unittest.TestCase): + def assert_not_image(self, data): + with self.assertRaises(images.NotAnImage): + inspect(data) + + def test_truncated(self): + for name, (_, data) in REAL_IMAGES.items(): + for size in (0, 1, 2, 3, 8, 12, len(data) // 2, len(data) - 1): + with self.subTest(name=name, size=size): + self.assert_not_image(data[:size]) + + def test_not_images(self): + for data in (b"", b"GIF89a" + b"\x00" * 20, b"%PDF-1.7", b"", b"\xff\xd8", b"\x89PNG\r\n\x1a\n"): + with self.subTest(start=data[:8]): + self.assert_not_image(data) + + def test_png_bad_crc(self): + data = bytearray(make_png(8, 8)) + data[-20] ^= 0xFF + self.assert_not_image(bytes(data)) + + def test_png_data_after_end(self): + self.assert_not_image(make_png(8, 8) + b"