lab4: evidence и отчёт после второго ревью (бюджет памяти, худший случай, таймауты S3), шаблон PR

This commit is contained in:
2026-10-23 17:27:37 +03:00
parent 9caa0313be
commit 66c44aa0f3
17 changed files with 1315 additions and 1192 deletions
+7 -7
View File
@@ -7,11 +7,11 @@
Что реализовано и что перенесено:
- Перенесено из lab3: NestJS 12 + Fastify 5, PostgreSQL, Redis-сессии и кэш, идемпотентность POST сообщений, HAProxy + 2 API-реплики, хуки `restart.sh` / `stop-one.sh` / `start-replica.sh`.
- Стенд: MinIO (образ закреплён по digest), идемпотентный bootstrap `s3-init` (приватный bucket, политика `messenger-api` только на `attachments/*`, отдельный пользователь API), секреты через Docker secrets (`make init-env`), консоль MinIO отключена, порт 9001 не публикуется, корневая ФС API `read_only`.
- Proxy upload PNG/JPEG: потоковая передача в S3; два слоя проверки — `ImageInspector` (сигнатура, структура, CRC, тип, лимит 40 млн пикселей до любого декода) и полный декод libvips/sharp (`failOn: 'warning'`), последний кусок уходит в S3 только после обоих; лимит 10 MiB до чтения; 201 ready только после PUT в S3 и `markReady`.
- Proxy upload PNG/JPEG: потоковая передача в S3; два слоя проверки — `ImageInspector` (сигнатура, структура, CRC, тип, лимит 40 млн пикселей до любого декода) и полный декод libvips/sharp (`failOn: 'warning'`, один декод на реплику, принимаются снимки до 40 Мп включая RGBA16), последний кусок уходит в S3 только после обоих; тип проверяется после аутентификации (401 раньше 415); лимит 10 MiB до чтения; 201 ready только после PUT в S3 и `markReady`.
- Компенсация не теряет оригинал: сначала захват строки `pending → deleting`, объект удаляется только после успешного захвата; если COMMIT `ready` прошёл, а ответ потерян — объект сохраняется, клиент получает 201; при недоступной БД ничего не удаляется (уборщик).
- Download через API с проверкой членства в чате; `attachment_ids` в сообщениях (атомарно в `CREATE_ONCE_SQL`, составные FK запрещают вложение другого чата); уборщик незавершённых загрузок с grace period; CLI sweep.
- Недоступность S3 — деградация: вложения отвечают 503, текст, история и readiness работают.
- Трек 1: `POST /chats/{id}/attachments/direct-uploads` → presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) → `POST /attachments/{id}/complete` (HEAD размера и checksum, полное чтение и декод объекта, статус `rejected` для отклонённых); расширение — `contracts/extensions.openapi.json`, обязательный proxy endpoint не изменён.
- Трек 1: `POST /chats/{id}/attachments/direct-uploads` → presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) → `POST /attachments/{id}/complete` (HEAD размера и checksum, полное чтение и декод объекта с дедлайном, статус `rejected` для отклонённых, параллельные complete идемпотентны); расширение — `contracts/extensions.openapi.json`, обязательный proxy endpoint не изменён.
Команды запуска из чистого clone:
```sh
@@ -26,17 +26,17 @@ make bench
Результаты проверок и ссылка на REPORT.md: [REPORT.md](../REPORT.md); вывод — `evidence/lab4/`.
- `make check` — PASS; `make test` — PASS (`make-check.txt`, `make-test.txt`).
- `make test-e2e`: 38 passed, 8 skipped (opt-in); unit-тесты: 43 passed (включая регрессию потерянного COMMIT и декодер).
- `make test-dependencies`: 6 passed (Redis, PG, S3 down, PG down между PUT и ready — объект сохранён до уборки); короткий TTL: 9 passed.
- `make test-e2e`: 44 passed, 9 skipped (opt-in); unit-тесты: 48 passed (регрессия потерянного COMMIT, декодер, лимиты слотов).
- `make test-dependencies`: 7 passed (Redis, PG, S3 остановлен, S3 завис — 503 за ≤ 20 с, PG down между PUT и ready — объект сохранён до уборки); короткий TTL: 10 passed.
- Persistence и failover — PASS; download после остановки каждой из реплик возвращает тот же sha256.
- `make s3-security`: 9 PASS; `make consistency`: orphans 0, missing 0; спайк подписи: чужие байты → S3 400/403.
- Эксперимент: proxy 10×9.5 MiB — медиана пика Δrss 43 MiB, 20×9.5 MiB — 50 MiB (граница по конфигурации ≈422 MiB, пик RSS ≤ 391 из 768 MiB); худший декод 40 млн px — 131 MiB; direct снимает с API исходящий трафик (≈0.01 MiB против size), входящий одинаков (≈size), т.к. complete проверяет объект целиком.
- Эксперимент: proxy 10×9.5 MiB — медиана пика Δrss 20 MiB, 20×9.5 MiB — 43 MiB; худший случай (32 клиента, 40 Мп RGBA16 Adam7, 10 MiB) — пик RSS 791 из 1024 MiB без OOM, все отказы — 429; худший декод в контейнере — 338 MiB; direct снимает с API исходящий трафик (≈0.01 MiB против size), входящий одинаков (≈size), т.к. complete проверяет объект целиком.
Ограничения / известные ошибки:
- Полная проверка стоит памяти (копия тела ≤10 MiB + декод) и времени (p50 proxy 9.5 MiB вырос с 239 до 642 мс); direct не экономит входящий трафик API — нужна асинхронная проверка рядом с хранилищем.
- Полная проверка стоит памяти (копия тела ≤10 MiB + декод до 338 MiB, поэтому декод по одному и 1 GiB на реплику) и времени под потоком тяжёлых изображений; изменённый байт в сжатых данных baseline JPEG может пройти (у JPEG нет контрольной суммы); direct не экономит входящий трафик API — нужна асинхронная проверка рядом с хранилищем.
- Потерянный ответ COMMIT проверен unit-тестом с моком (в стенде нет прокси, рвущего соединение после COMMIT).
- Не атомарна проверка лимита незавершённых заявок прямой загрузки (гонка параллельных init).
- Тайм-аут загрузки обрывает сокет вместо ответа 400.
- Тайм-аут загрузки обрывает сокет вместо ответа 400; лимит на пользователя не защищает от медленных клиентов с многих аккаунтов.
- Нет автоматического reconciler'а orphan-объектов (только `make consistency`), нет TLS (до lab7), нет вариантов/WebP/delete-API.
- Репозиторий MinIO, вероятно, архивирован (в этой работе не перепроверялось).
+138 -82
View File
@@ -36,7 +36,10 @@ make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
```
Действия оператора: только `make init-env` (секреты создаются локально в `secrets/`, каталог в
Действия оператора: только `make init-env`. Он не перезаписывает существующий `.env`: при обновлении с
предыдущей версии сверьте его с `.env.example` (`diff <(grep -o '^[A-Z_0-9]*=[^#]*' .env.example) .env`),
иначе останутся старые лимиты (так один из прогонов этой работы шёл с `UPLOAD_MAX_IN_FLIGHT=32`).
Далее — (секреты создаются локально в `secrets/`, каталог в
`.gitignore`; `secrets/` и `.env` нельзя коммитить). Остановка с сохранением данных — `make stand-down`
(тома `postgres-data`, `redis-data`, `s3-data` сохраняются). **Намеренное удаление учебных данных:**
`docker compose --env-file .env down -v` (удаляет все три тома, включая загруженные файлы; следующий
@@ -82,9 +85,13 @@ ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps
- PostgreSQL недоступен — ничего не удаляется (`attachments.compensation_deferred`): по строке
`pending` объект найдёт уборщик через `expires_at + ATTACHMENT_SWEEP_GRACE_SECONDS`, и он тоже
сначала захватывает строку;
- S3 недоступен после захвата — строка остаётся `deleting` и перезахватывается уборщиком через минуту.
- S3 недоступен после захвата — строка остаётся `deleting` и перезахватывается уборщиком через минуту;
- запрос оборван (таймаут) уже после того, как последний байт ушёл в S3, — S3 может зафиксировать PUT
*после* нашего DELETE; поэтому строка остаётся `deleting`, и уборщик через минуту удаляет ключ ещё
раз и только потом строку. Если же последний байт не ушёл (обрыв клиента, отказ проверки), S3 не
может зафиксировать объект с неполным телом, и строка удаляется сразу.
Так «объект без строки» не возникает ни при каком сбое, а `ready` без объекта — только при внешнем
Так «объект без строки» не возникает ни в одном из этих сценариев, а `ready` без объекта — только при внешнем
удалении из bucket. Первая версия удаляла объект до строки и теряла оригинал при потерянном ответе
COMMIT; регрессия — `attachments.service.spec.ts` (unit, мок «COMMIT прошёл, ответ потерян»), а
fault-тест `dependency-failures` «keeps the object while PostgreSQL is down before ready» проверяет,
@@ -93,22 +100,39 @@ ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps
в S3 с заранее известным `Content-Length` (≤ 10 MiB, иначе 413 до чтения). Проверка в два слоя:
1. `ImageInspector` — байтовый автомат PNG/JPEG без буферизации: сигнатура, структура, CRC чанков
PNG, тип по содержимому и число пикселей (≤ 40 млн → 413) по IHDR/SOF. До появления заголовка
(≤ 1 MiB) нет ни строки, ни объекта; pixel bomb отвергается до любого декодирования.
2. `ImageDecoder` — полный декод всех пикселей libvips (sharp 0.35, `failOn: 'warning'`,
`limitInputPixels`). Структуры и CRC недостаточно: PNG с мусорным zlib-потоком (верные CRC) и JPEG
без данных скана проходят первый слой — их ловит только декод (первая версия возвращала на них
201). Декод ограничен `IMAGE_DECODE_MAX_CONCURRENT` (очередь), libvips — один поток, без кэша.
нет ни строки, ни объекта (фаза заголовка ограничена `Content-Length` ≤ 10 MiB: у JPEG до SOF
бывают мегабайты APPn-метаданных); pixel bomb отвергается до любого декодирования.
2. `ImageDecoder` — полный декод libvips (sharp 0.35, `failOn: 'warning'`, `limitInputPixels`),
стоком служит уменьшение до 64 px: оно читает все сжатые данные, но держит в памяти меньше
полноразмерного конвейера (вердикты по 14 видам корректных и битых файлов совпадают с `stats()`,
худший пик памяти — 339 против 329–232 MiB у других стоков… см. `decode-memory.txt`). Структуры и
CRC недостаточно: PNG с мусорным zlib-потоком (верные CRC) и JPEG без данных скана проходят первый
слой — их ловит только декод. Ошибка самого сервера (нет места, нет памяти) не выдаётся за 415:
она логируется и даёт 500. `VIPS_DISC_THRESHOLD=1g` не даёт libvips уносить большие изображения во
временный файл: `/tmp` у API — tmpfs 16 MiB, и до этой настройки снимки ≈40 Мп получали 415.
Последний кусок отдаётся в S3 только после обоих слоёв — S3 не получает полное тело невалидного
файла и не фиксирует объект. Цена: на время загрузки API держит копию тела (≤ 10 MiB) для декода
(libvips не принимает поток), плюс память декода (≈117–131 MiB на изображение 40 млн пикселей,
`evidence/lab4/decode-memory.txt`). Верхняя граница на реплику:
`UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × 131 MiB` = 16 × 10 + 2 × 131 ≈ 422 MiB
при лимите контейнера 768 MiB. Остальные ограничители: `UPLOAD_MAX_IN_FLIGHT` (429 +
`Retry-After`, общий для proxy и direct complete), `UPLOAD_TIMEOUT_MS`, тайм-ауты S3-клиента.
Fastify `bodyLimit` к `image/*` не применяется: контент-парсеры отдают сырой поток только маршруту
загрузки (для `text/plain` на нём встроенный буферизующий парсер заменён — иначе бинарное тело
давало 400; на остальных маршрутах `image/*` → 415, `text/plain` буферизуется как прежде).
файла и не фиксирует объект. Цена — память: копия тела (≤ 10 MiB, libvips не принимает поток) и
декод. Худший допустимый вход — 40 Мп RGBA 16 bit с Adam7-чередованием (декодер обязан держать всё
изображение): **338 MiB** на декод в контейнере (`decode-memory.txt`; baseline JPEG 4.5 MiB,
progressive JPEG 118 MiB, CMYK 7.5 MiB, RGBA16 без чередования 67 MiB). Отсюда настройки:
`IMAGE_DECODE_MAX_CONCURRENT=1` (остальные ждут в очереди; ожидающий запрос, у которого истёк
`UPLOAD_TIMEOUT_MS`, покидает очередь вместе со своим буфером) и `API_MEMORY_PER_REPLICA=1024m`.
Граница на реплику: базовый RSS ≈250 MiB + `UPLOAD_MAX_IN_FLIGHT` 16 × 10 MiB + 1 × 340 MiB
≈ 750 MiB. Нагрузочный прогон худшего случая (32 клиента одновременно шлют именно такой файл
10 MiB) дал пик RSS 791 MiB из 1024 без OOM и рестартов (`bench/*-worst-c32.json`,
`bench-oom-check.txt`). Слоты: `UPLOAD_MAX_IN_FLIGHT` на реплику и `UPLOAD_MAX_IN_FLIGHT_PER_USER`
(4) на пользователя — медленный клиент (держит слот до `UPLOAD_TIMEOUT_MS`) не занимает слоты
остальных; при исчерпании — 429 + `Retry-After`. Слоты общие для proxy и direct complete.
Маршрут загрузки получает тело сырым потоком при любом `Content-Type`: хук `onRequest` помечает
запрос, и тип проверяет сервис уже после guard (401 раньше 415, как требует contracts/README);
Fastify `bodyLimit` к нему не применяется (лимит считает сервис), остальные маршруты используют
штатные парсеры Fastify (`text/plain` > 1 MiB → 413 в конверте ошибки).
- **Таймауты S3.** `S3_REQUEST_TIMEOUT_MS` (15 с) действует как жёсткий предел: `throwOnRequestTimeout`
(без него smithy только пишет предупреждение) и `socketTimeout` на простой при чтении тела. Для PUT
предел — `UPLOAD_TIMEOUT_MS` (сигнал отмены), чтобы медленный клиент не обрывался на 15 с.
Проверено fault-тестом с `docker pause s3` (порт открыт, ответа нет): download → 503 быстрее 20 с,
метаданные и readiness — 200, после `unpause` файл отдаётся.
- **Прямая загрузка (трек 1):** `POST /api/v1/chats/{id}/attachments/direct-uploads` создаёт строку
`pending` (`expires_at = now + TTL`) и возвращает presigned PUT. Подписаны `content-type`,
`content-length` и `x-amz-checksum-sha256`: S3 сам отвергает тело другого размера (403
@@ -118,7 +142,9 @@ ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps
проходит те же два слоя, что и proxy (инспектор + полный декод), сверка типа и пикселей, `markReady`.
Подписанный checksum доказывает лишь, что байты те, что заявил клиент, а не что это изображение:
первая версия читала только начало и принимала усечённый PNG и файл, повреждённый после первых
64 KiB (оба с верным checksum). Цена — входящий трафик API = size на `complete` (см. H2). Несоответствие
64 KiB (оба с верным checksum). Цена — входящий трафик API = size на `complete` (см. H2). Чтение и
декод ограничены `UPLOAD_TIMEOUT_MS`, обрыв чтения из S3 → 503. Параллельные `complete` одной заявки
все получают 200 (проигравший `markReady` перечитывает строку). Несоответствие
(размер/checksum/тип/пиксели) → 409/413/415, объект удаляется, а строка получает статус
`rejected` и сохраняет `expires_at`: подписанный URL ещё может быть использован, и повторный PUT
оставил бы объект без строки; уборщик удаляет `rejected` после `expires_at` + grace, пока же строка
@@ -162,8 +188,11 @@ ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `resolveSecret` → `S3_ACCESS_KEY_ID`/`S3_SECRET_ACCESS_KEY` | API-credentials из Docker secrets |
| `S3_CONNECT_TIMEOUT_MS`, `S3_REQUEST_TIMEOUT_MS` | `NodeHttpHandler` | тайм-ауты S3-клиента |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `AttachmentsService`, `DirectUploadsService` | 10 MiB, 40 млн пикселей |
| `UPLOAD_TIMEOUT_MS`, `UPLOAD_MAX_IN_FLIGHT` | `AttachmentsService`, `UploadSlots` | дедлайн запроса; число одновременных proxy-загрузок и direct complete на реплику (16) |
| `IMAGE_DECODE_MAX_CONCURRENT` | `ImageDecoder` | одновременные полные декоды на реплику (2) |
| `UPLOAD_TIMEOUT_MS` | `AttachmentsService`, `DirectUploadsService` | дедлайн загрузки и `complete` (25 с), включая ожидание декода |
| `UPLOAD_MAX_IN_FLIGHT`, `UPLOAD_MAX_IN_FLIGHT_PER_USER` | `UploadSlots` | одновременные proxy-загрузки и direct complete на реплику (16) и на пользователя (4) |
| `IMAGE_DECODE_MAX_CONCURRENT` | `ImageDecoder` | одновременные полные декоды на реплику (1; худший декод ≈340 MiB) |
| `VIPS_DISC_THRESHOLD` | `compose.yaml` → libvips | 1g: декод в памяти, не во временном файле в tmpfs `/tmp` |
| `API_MEMORY_PER_REPLICA` | `compose.yaml` | лимит памяти реплики, 1024m (бюджет ≈750 MiB, см. выше) |
| `ATTACHMENT_SWEEP_INTERVAL_MS`, `ATTACHMENT_SWEEP_GRACE_SECONDS` | `AttachmentSweeper`, CLI | период фонового прохода (0 = выкл.) и grace после `expires_at` |
| `DIRECT_UPLOAD_URL_TTL_SECONDS`, `DIRECT_UPLOAD_MAX_PENDING_PER_USER` | `DirectUploadsService` | TTL подписи; лимит незавершённых заявок |
| `S3_PUBLIC_BIND`, `S3_PUBLIC_PORT`, `S3_CPUS`, `S3_MEMORY` | `compose.yaml` (сервис `s3`) | публикация порта на loopback; лимиты контейнера |
@@ -194,84 +223,96 @@ ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps
| Контракт offline | `make check` | PASS, `contracts/extensions.openapi.json` — валидный JSON | `make-check.txt` |
| 3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket | `make stand-up`; `docker compose ps`; `make consistency` | `s3` healthy, `s3-init` завершён с 0; bucket приватный (`mc anonymous set none`); после серий `make bench`, e2e и fault-тестов: 5066 объектов на 5065 `ready` + 15 незавершённых строк (`pending`/`rejected`, ждут истечения + grace; одна из них — с объектом), orphans/missing = 0 | `bootstrap-rerun.txt`, `consistency.txt` |
| 3: 201 ready, побайтный download, `attachment_ids` | `make test-e2e` (`attachments.e2e-spec.ts`) | sha256 в ответе = sha256 файла; content = байты, `nosniff`, `Content-Length` | `make-test-e2e.txt` |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как `image/jpeg` → 415, `a/b.png`, `\u202E`, NUL, 256 символов → 400, 255×😀 → 201 | кейсы перечислены в `app/test/attachments.e2e-spec.ts` (в evidence — итог: 38 passed, 8 skipped opt-in); raw image/text тело на JSON-маршрутах → 415/400, не 500 | `make-test-e2e.txt`, `unit-tests.txt` (43 passed: `image-inspector.spec.ts`, `image-decoder.spec.ts`, `attachments.service.spec.ts`) |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: снимок 7728×5152 (39.8 Мп) baseline и progressive JPEG → 201, PNG 8000×5000 RGBA16 → 201, JPEG с 1.3 MB метаданных до SOF → 201; 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как `image/jpeg` → 415, `a/b.png`, `\u202E`, NUL, 256 символов → 400, 255×😀 → 201 | кейсы перечислены в `app/test/attachments.e2e-spec.ts` (в evidence — итог: 44 passed, 9 skipped opt-in); raw image/text тело на JSON-маршрутах → 415/400, `text/plain` > 1 MiB → 413, без токена с `application/zip` → 401 (не 415) | `make-test-e2e.txt`, `unit-tests.txt` (48 passed: `image-inspector.spec.ts`, `image-decoder.spec.ts`, `attachments.service.spec.ts`, `upload-slots.spec.ts`) |
| 3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные | `scripts/stop-one.sh` (обе реплики по очереди), `make test-failover`; `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: `StartedAt` у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены | `failover.txt`, `failover-attachment.txt`, `persistence.txt` |
| 3: на API нет локального файла оригинала | `touch` в корне контейнера | `Read-only file system` | `readonly-api.txt` |
| 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата, нет 500 | `make test-e2e` | 413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело, PNG с мусорным zlib-потоком при верных CRC, JPEG (baseline и прогрессивный) без данных скана → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 | `make-test-e2e.txt` |
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | e2e «client drops the connection»; `make test-dependencies` | обрыв клиента → строк 0 за ≤10 с; S3 down → строка в `deleting`, после старта перезахвачена и убрана sweep; PG down между PUT и ready → 503, объект сохранён до уборки (строка `pending` его учитывает), после sweep нет ни объекта, ни строки; потерянный ответ COMMIT → объект не удаляется, 201 (unit `attachments.service.spec.ts`); затем `orphans: 0, missing: 0` | `make-test-e2e.txt`, `make-test-dependencies.txt`, `consistency.txt` |
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | `make bench` (proxy, C=10 и C=20, 9.5 MiB) | медиана max Δrss реплики 43 MiB при C=10 и 50 MiB при C=20 (≈95/190 MiB тел в полёте), абсолютный пик RSS ≤ 391 MiB при лимите 768 MiB; граница по конфигурации ≈422 MiB сверх базового RSS; худший декод 40 млн px — 131 MiB — см. «Эксперименты» | `summary.md`, `bench/*.json`, `decode-memory.txt` |
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | `make bench`: proxy 9.5 MiB при C=10 и C=20; худший случай — 32 клиента с 40 Мп RGBA16 Adam7 10 MiB; `docker pause s3` в `make test-dependencies` | типичные: Δrss 20 / 43 MiB; худший: пик RSS 791 из 1024 MiB, без OOM, избыток — 429; граница по конфигурации ≈750 MiB; худший декод в контейнере 338 MiB; зависший S3 → 503 за ≤ 20 с | `summary.md`, `bench/*.json`, `bench-oom-check.txt`, `decode-memory.txt`, `make-test-dependencies.txt` |
| 4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API | `docker compose run s3-init` дважды; `make s3-security` | повтор → `bootstrap ok`; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне `attachments/`, читают `attachments/*`; порт 9001 не опубликован и не отвечает | `bootstrap-rerun.txt`, `s3-security.txt` |
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | `direct-upload.e2e-spec.ts`; спайк подписи | init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; усечённый PNG и PNG, повреждённый после первых 64 KiB (оба с верным checksum) → 415, затем 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + `Retry-After` | `make-test-e2e.txt`, `presign-spike.txt` |
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | `direct-upload.e2e-spec.ts`; спайк подписи | init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; 4 параллельных complete → 200 × 4; усечённый PNG и PNG, повреждённый после первых 64 KiB (оба с верным checksum) → 415, затем 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + `Retry-After` | `make-test-e2e.txt`, `presign-spike.txt` |
| 5 / трек 1: истёкший URL и уборка | `E2E_DIRECT_TTL_SHORT=1` на стенде с TTL 5 с | PUT после `expires_at` → 403, строка убрана уборщиком, complete → 404 | `direct-ttl-short.txt` |
| 5 / трек 1: сравнение трафика и RAM API на ≥2 размерах | `make bench` (0.125, 1, 9.5 MiB) | см. таблицу ниже | `summary.md`, `bench/*.json` |
Оговорка по hook'ам: `make test-persistence` и `make test-failover` подтверждают сохранность данных и
сессии; какие процессы перезапущены, видно по `StartedAt` до/после (`persistence.txt`).
`scripts/stop-one.sh` останавливает только реплику, обслужившую сессию теста (в трёх прогонах
`scripts/stop-one.sh` останавливает только реплику, обслужившую сессию теста (в обоих прогонах
`make test-failover` это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно
`failover-attachment.txt`.
`failover-attachment.txt`. Persistence, failover, бенчмарк, безопасность и сверка перезапущены на
коммите `9caa031` (код приложения тот же, что в `4b53e03`); unit, e2e, отказы и короткий TTL — на `4b53e03`.
## Эксперименты и отказы
**Методика.** Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка:
`scripts/lab4/attachments_bench.py`, closed-loop: C потоков × 5 загрузок несжимаемых PNG
(`noise_png`, разные seed — несжимаемые, поэтому декод не дешевле реальных фото), R = 3 повтора; один прогрев на конфигурацию (2 × число реплик загрузок,
не измеряется), перед каждым повтором — `POST /internal/metrics/reset` на каждой реплике. Трафик API — дельта `eth0` rx/tx из `/proc/net/dev`
контейнера; RAM — пик `process.memoryUsage().rss` с шагом 50 мс минус RSS в момент reset (Δrss);
в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: `make bench`
(`scripts/lab4/run_matrix.sh`); raw — `evidence/lab4/bench/*.json` (без токенов и URL).
**Методика.** Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 1024 MiB на
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB; `UPLOAD_MAX_IN_FLIGHT=16`,
`UPLOAD_MAX_IN_FLIGHT_PER_USER=4`, `IMAGE_DECODE_MAX_CONCURRENT=1`. Версии — см. «Запуск». Нагрузка:
`scripts/lab4/attachments_bench.py`, closed-loop: C потоков (у каждого свой пользователь и чат) × K
загрузок, R = 3 повтора; один прогрев на конфигурацию (2 × число реплик загрузок, не измеряется), перед
каждым повтором — `POST /internal/metrics/reset` на каждой реплике. Два вида входа:
1. **типичный** — несжимаемые PNG ширины 1024 (`noise_png`, разные seed) 0.125 / 1 / 9.5 MiB, K = 5:
нагружают сеть и S3, декод у них дешёвый (≈15 мс на 9.5 MiB);
2. **худший для памяти** — 40 Мп RGBA 16 bit, Adam7, дополненный до 10 MiB (`pngkit.py`), C = 32, K = 2:
каждый запрос требует максимального декода (≈810 мс, 338 MiB), а C = 32 упирается в
`UPLOAD_MAX_IN_FLIGHT` обеих реплик.
**H1 (уровень 4).** Память реплики при ≥ 10 параллельных загрузках ограничена сверху конфигурацией
(`UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × ≈131 MiB` ≈ 422 MiB) и не зависит от
числа клиентов сверх этого лимита. Исходная формулировка («Δrss почти не зависит от размера файла») для
текущей версии неверна по построению: ради полного декода API держит копию тела.
Трафик API — дельта `eth0` rx/tx из `/proc/net/dev` контейнера; RAM — пик `process.memoryUsage().rss`
с шагом 50 мс (Δrss — минус RSS в момент reset; peak RSS — абсолютный максимум по репликам и повторам);
отказы классифицируются по шагу и статусу. В таблицу идут медианы по повторам. Команда: `make bench`
(`scripts/lab4/run_matrix.sh`); raw — `evidence/lab4/bench/*.json` (без токенов и URL), коммит `9caa031`.
**H1 (уровень 4).** Память реплики ограничена сверху конфигурацией — базовый RSS ≈250 MiB +
`UPLOAD_MAX_IN_FLIGHT × 10 MiB` + `IMAGE_DECODE_MAX_CONCURRENT × 340 MiB` ≈ 750 MiB < 1024 MiB — при любом
числе клиентов и любом допустимом изображении; избыток нагрузки получает 429, а не OOM. (Исходная
формулировка «Δrss почти не зависит от размера файла» для текущей версии неверна по построению: ради
полного декода API держит копию тела.)
**H2 (трек 1).** Прямая загрузка снимает с API передачу байтов в S3 (tx) и не требует держать соединение
клиента на время заливки; входящий трафик API она не снижает, потому что `complete` читает объект
целиком для проверки; латентность direct выше из-за трёх round trip и повторного чтения.
Результаты (`evidence/lab4/summary.md`, коммит `4badd5a`; 150 загрузок на строку при C=10, 300 при
C=20; ошибок 0):
Результаты (`evidence/lab4/summary.md`; 150 загрузок на строку при C=10, 300 при C=20, 192 в худшем случае):
| mode | size, MiB | C | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | p50, ms | p95, ms |
| --- | --- | --- | --- | --- | --- | --- | --- |
| direct | 0.12 | 10 | 0.13 | 0.01 | 5.25 | 72 | 120 |
| proxy | 0.12 | 10 | 0.13 | 0.13 | 3.00 | 57 | 87 |
| direct | 1.00 | 10 | 1.01 | 0.01 | 1.38 | 154 | 252 |
| proxy | 1.00 | 10 | 1.01 | 1.01 | 2.00 | 132 | 183 |
| direct | 9.50 | 10 | 9.52 | 0.01 | 83.62 | 755 | 1018 |
| proxy | 9.50 | 10 | 9.52 | 9.53 | 42.94 | 642 | 889 |
| proxy | 9.50 | 20 | 9.53 | 9.53 | 49.98 | 1336 | 1743 |
| mode | size, MiB | C | ok | отказы | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | peak RSS, MiB | p50, ms | p95, ms |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| direct | 0.12 | 10 | 150/150 | — | 0.13 | 0.01 | 0.38 | 394 | 40 | 71 |
| proxy | 0.12 | 10 | 150/150 | — | 0.13 | 0.13 | 0.00 | 447 | 26 | 46 |
| direct | 1.00 | 10 | 150/150 | — | 1.01 | 0.01 | 0.00 | 244 | 71 | 107 |
| proxy | 1.00 | 10 | 150/150 | — | 1.01 | 1.01 | 0.12 | 395 | 50 | 82 |
| direct | 9.50 | 10 | 150/150 | — | 9.52 | 0.01 | 67.06 | 344 | 448 | 672 |
| proxy | 9.50 | 10 | 150/150 | — | 9.52 | 9.53 | 20.31 | 273 | 245 | 399 |
| proxy | 9.50 | 20 | 300/300 | — | 9.53 | 9.53 | 42.53 | 274 | 433 | 781 |
| direct, худший | 10.00 | 32 | 167/192 | complete 429 × 25 | 9.24 | 0.01 | 366.88 | 791 | 11067 | 13423 |
| proxy, худший | 10.00 | 32 | 190/192 | upload 429 × 2 | 10.04 | 9.90 | 356.76 | 785 | 11982 | 13068 |
Выводы:
- **H1 подтверждена.** Рост памяти сверх базового RSS процесса (≈240–255 MiB после прогрева, включая
загруженный libvips): Δrss 26–57 MiB по повторам при proxy 9.5 MiB C=10 (медиана 43) и 28–121 MiB при
C=20 (медиана 50) — ниже границы ≈422 MiB и намного меньше ≈95/190 MiB тел в полёте на весь стенд.
Абсолютный пик RSS реплики — 311–391 MiB при лимите контейнера 768 MiB. Рост от размера файла есть
(0.12 и 1 MiB — 0.5–6 MiB, 9.5 MiB — десятки MiB): это копия тела для декода и сам декод (≈155 мс на
файл 9.5 MiB, счётчик `attachments.decode.ms`). Худший допустимый декод (40 млн пикселей) — ≈131 MiB,
измерен отдельно (`decode-memory.txt`) и в бенчмарк не входил. Δrss шумная (у одной конфигурации
разброс до 4×), поэтому разница между C=10 и C=20 не интерпретируется.
- **H1 подтверждена.** В худшем случае пик RSS реплики — 785–791 MiB из 1024, OOM и рестартов нет
(`bench-oom-check.txt`); все неуспехи — 429 с `Retry-After` (сработал лимит слотов), ни одного 5xx.
Пик выше расчётных ≈750 MiB на ≈40 MiB: базовый RSS к этому прогону уже был выше 250 MiB (аллокатор
не возвращает память ОС после предыдущих прогонов — поэтому и абсолютный peak RSS у малых файлов
в таблице 394–447 MiB при Δrss ≈ 0). Для типичных файлов Δrss — 0–2 MiB на 0.12–1 MiB и 20–43 MiB на
9.5 MiB (C = 10 / 20) при ≈95 / 190 MiB тел в полёте на весь стенд. Латентность худшего случая
(p50 ≈ 11–12 с) — очередь к единственному декоду: 16 запросов × ≈0.8 с; это плата за ограничение
памяти, ожидающие дольше `UPLOAD_TIMEOUT_MS` уходят из очереди с 503.
- **H2 подтверждена в новой формулировке.** API tx у direct ≈0.01 MiB против size у proxy (≈1000× для
9.5 MiB); API rx одинаков (≈size), потому что `complete` читает объект целиком. Ранняя версия, читавшая
только начало объекта, давала rx ≈0.07 MiB, но принимала повреждённые изображения — этот выигрыш был
ценой корректности и отозван. Δrss у direct 9.5 MiB выше, чем у proxy (84 против 43 MiB): объект
ценой корректности и отозван. Δrss у direct 9.5 MiB выше, чем у proxy (67 против 20 MiB): объект
читается из S3 быстрее, чем приходит от клиента, и больше копий одновременно ждут декода. Латентность
direct выше на всех размерах (p50 72/154/755 против 57/132/642 мс): три запроса и повторное чтение
объекта. Выигрыш direct в этой реализации — только снятие с API исходящего трафика в S3 и времени
заливки клиентом; для полного выигрыша по rx проверку нужно вынести с API (асинхронный воркер рядом
с хранилищем) — это следующий шаг, не реализован.
- Сравнение с предыдущими прогонами (без полного декода, коммит `830e581`): p50 proxy 9.5 MiB C=10 вырос
с 239 до 642 мс, медиана Δrss — с 15.7 до 42.9 MiB. Это цена закрытия дыры в валидации.
direct выше на всех размерах (p50 40/71/448 против 26/50/245 мс): три запроса и повторное чтение
объекта. Выигрыш direct в этой реализации — снятие с API исходящего трафика в S3 и времени заливки
клиентом; для выигрыша по rx проверку нужно вынести с API (асинхронный воркер рядом с хранилищем,
`status: processing`) — следующий шаг, не реализован.
- История версий: до полного декода (`830e581`) p50 proxy 9.5 MiB C=10 — 239 мс; с декодом через
`stats()` (`4badd5a`, тот прогон по ошибке шёл с `UPLOAD_MAX_IN_FLIGHT=32` из устаревшего локального
`.env`) — 642 мс; с декодом через уменьшение (`9caa031`) — 245 мс.
**Ограничения измерений.** Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети;
`/proc/net/dev` реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку,
видно в tx у direct; метрики и конфигурация берутся прогонами `docker exec`, но их трафик в
измеряемое окно не входит, кроме двух чтений метрик); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные
латентности не переносимы.
`/proc/net/dev` реплики включает трафик PG/Redis и служебные запросы метрик (≈7–13 KiB на загрузку,
видно в tx у direct); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
пропустить короткий пик; абсолютный RSS зависит от истории процесса; типичные файлы — синтетический
шум, а не фото (худший случай по памяти проверен отдельно); нет TLS (до lab7); Python-клиент сам
ограничен по CPU, поэтому абсолютные латентности не переносимы.
### Отказы
@@ -280,8 +321,12 @@ C=20; ошибок 0):
| S3 остановлен (`compose stop s3`) | вложения → bounded 503; текст, история, метаданные, `/health/ready` работают | upload → 503 `unavailable` без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; строка неудачной загрузки в `deleting` (захвачена, удаление объекта не прошло) | после `start s3` и healthy download старого файла 200 с теми же байтами, новый upload 201; строка перезахвачена и убрана sweep через минуту; потерь нет |
| PostgreSQL остановлен между S3 PUT и `ready` | 503; API не знает, прошёл ли COMMIT, — ничего не удаляет; объект учтён строкой | ответ 503; после старта PG строка `pending`, объект на месте (`mc stat` — есть); после `expires_at` sweep удалил объект и строку | уборка через `expires_at` + grace; `orphans: 0`, `missing: 0` |
| COMMIT `ready` прошёл, ответ PostgreSQL потерян | объект не удаляется, клиент получает 201 | unit `attachments.service.spec.ts`: захват строки не срабатывает, `delete` не вызывается, ответ 201 `ready` | потерь нет (в стенде не воспроизводится без прокси, разрывающего соединение после COMMIT) |
| S3 «завис» (`docker pause s3`: порт открыт, ответа нет) | ответ в пределах `S3_REQUEST_TIMEOUT_MS`, а не бесконечное ожидание | download → 503 быстрее 20 с (15 с таймаут); метаданные и readiness — 200 | после `unpause` download 200 с теми же байтами; потерь нет |
| Медленный клиент держит 12 соединений загрузки | его лишние запросы → 429, остальные пользователи не страдают | его 13-я загрузка → 429 `Retry-After: 1`; 4 загрузки другого пользователя подряд → 201 | соединения закрыты — строк не осталось |
| 4 параллельных `complete` одной прямой загрузки | все получают готовое вложение | 200 × 4 с одним и тем же `id` | — |
| 32 клиента одновременно шлют худший по памяти файл | без OOM; избыток → 429 | пик RSS 791 из 1024 MiB, OOM нет, 27 отказов — все 429 | — |
| Обрыв клиента посреди загрузки (512 KiB из 2 MiB) | не остаётся ни строки, ни объекта | PUT прерывается (`S3 put failed: AbortError` в логе API, в evidence не сохранён) без ожидания тайм-аута, компенсация, строк в чате 0 | ≤10 с (предел ожидания теста; точное время не измерялось) |
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой `X-Instance-Id` для api-1 и api-2 | ≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140 |
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой `X-Instance-Id` для api-1 и api-2 | ≈3.2 с до первого успешного запроса, 0 неуспешных записей из 133–141 |
| Restart стенда (`scripts/restart.sh`) | метаданные и оригиналы сохраняются, сессия жива | persistence PASS; `StartedAt` всех сервисов изменился | потерь нет (время до готовности отдельно не измерялось) |
| Истёкший presigned URL | PUT отвергается, заявка убирается | PUT → 403; строка убрана уборщиком; complete → 404 | TTL (5 с в прогоне) + grace 0 + период уборщика 1 с |
| Подмена байтов / размера при прямой загрузке | S3 отвергает, объект не создаётся | 400 `XAmzContentChecksumMismatch` / 403 `SignatureDoesNotMatch`; complete → 409 | заявка остаётся до TTL, клиент может доотправить |
@@ -292,30 +337,41 @@ C=20; ошибок 0):
репозиторий `minio/minio` архивирован — новых образов и исправлений не будет *(в этой сессии не
перепроверялось)*. Для продакшена потребуется замена (SeaweedFS/RustFS) или форк.
- **Полная проверка изображения стоит памяти и времени:** копия тела (≤ 10 MiB) на загрузку и декод
через libvips (нативная зависимость sharp, ≈131 MiB на худший вход). `failOn: 'warning'` строже
браузеров: файл с предупреждением libjpeg/libpng будет отвергнут (на 300 изображениях с хоста ложных
отказов не было, но выборка не репрезентативна для фото с камер). Проверяются декодируемость и
целостность, а не «безопасность для всех декодеров» — перекодирование в чистый формат не делается.
через libvips (нативная зависимость sharp; худший вход — 338 MiB, ≈0.8 с). Поэтому декод на реплике
строго по одному, а реплике нужен 1 GiB; под потоком «тяжёлых» изображений латентность растёт до
секунд (очередь), а лишние запросы получают 429. `failOn: 'warning'` строже браузеров: файл с
предупреждением libjpeg/libpng будет отвергнут (на 300 изображениях с хоста ложных отказов не было,
но выборка не репрезентативна для фото с камер). Проверяются декодируемость и целостность, а не
«безопасность для всех декодеров» — перекодирование в чистый формат не делается.
- **Изменённый байт внутри сжатых данных baseline JPEG может пройти проверку:** у JPEG нет контрольной
суммы, и такой байт часто даёт другой, но корректный поток Хаффмана (замер: из 14 видов порчи не
пойман только этот). Для PNG то же поймает CRC/Adler-32. В direct байты дополнительно зафиксированы
подписанным SHA-256 — они ровно те, что заявил клиент.
- **Direct не экономит входящий трафик API** (см. H2); это следствие проверки на API. Следующий шаг —
асинхронная проверка воркером рядом с хранилищем (`status: processing`), что требует расширения
контракта.
- **Лимит на пользователя не защищает от многих аккаунтов:** регистрация открыта, поэтому распределённый
«медленный клиент» из ≥ 4 аккаунтов на реплику всё ещё может занять все слоты на `UPLOAD_TIMEOUT_MS`
(25 с). Защита — минимальная скорость приёма тела или ограничения на LB; не реализовано.
- **Гонка лимита заявок:** `countPendingDirect` и `insertPending` не атомарны — параллельные `init`
одного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято.
- **Загрузка, не доставленная до `ready`, видна уборщику только через grace (по умолчанию 15 мин):**
до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения.
- **Незавершённые загрузки занимают место до уборки** (`expires_at` + grace 15 мин): в т. ч. прямые
заявки, чей `complete` получил 429 (после серии бенчмарка в `consistency.txt` видно 84 `pending`).
Если строка уже `deleting` из-за поздно зафиксированного PUT после таймаута, уборщик повторно удалит
ключ через минуту.
- **Компенсация при недоступной БД ничего не удаляет:** объект остаётся до уборки
(`expires_at` + 900 с grace) — сознательный выбор: без БД нельзя отличить «COMMIT не прошёл» от «ответ
потерян», а удаление в втором случае теряет оригинал. Объект без строки (например, строку удалили
потерян», а удаление во втором случае теряет оригинал. Объект без строки (например, строку удалили
вручную) обнаружит только `make consistency` — автоматического reconciler'а нет (это трек 2).
- **Потерянный COMMIT проверен только unit-тестом** с моком репозитория: стенд не умеет разорвать
соединение PostgreSQL ровно после COMMIT (для этого нужен прокси вроде toxiproxy).
- **Таймаут загрузки** уничтожает тело (и сокет) — клиент может получить обрыв соединения вместо
ожидаемого 400 «Upload was interrupted»; строка и объект при этом компенсируются.
- **Таймаут загрузки** уничтожает тело (и сокет) — клиент получает обрыв соединения (через HAProxy — 502
без `X-Request-Id`) вместо 400 «Upload was interrupted»; строка и объект при этом компенсируются.
- **TLS нет** до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому
администрирование — только через `mc` из контейнера.
- **Не реализовано:** варианты вложений (`variants` всегда `[]`; `variant=thumbnail|crop|optimized` → 404),
delete-API вложений, WebP.
- **Подтверждено измерением:** память реплики ограничена конфигурацией и в эксперименте далеко от
delete-API вложений, WebP, `Range` на download (игнорируется, отдаётся весь файл с 200).
- **Подтверждено измерением:** память реплики ограничена конфигурацией и в худшем случае не доходит до
лимита; direct снимает с API исходящий трафик в S3. **Опровергнуто для текущей версии:** снижение
входящего трафика API прямой загрузкой. **Остаётся гипотезой:** поведение памяти при C ≫ 20 (упор в
`UPLOAD_MAX_IN_FLIGHT`, 429) и на реальных фото, а не на шуме.
входящего трафика API прямой загрузкой. **Остаётся гипотезой:** поведение на реальных фото (типичный
бенчмарк — синтетический шум) и при C, многократно превышающем лимит слотов.
+2
View File
@@ -0,0 +1,2 @@
/mtusi-lab4-api-1 OOMKilled=false restarts=0
/mtusi-lab4-api-2 OOMKilled=false restarts=0
+186 -177
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:14:08+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:19:18+00:00",
"git": "9caa031",
"params": {
"mode": "direct",
"size_bytes": 1048576,
@@ -23,193 +23,202 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.499,
"outcomes": {
"ok": 50
},
"duration_s": 0.474,
"latency_ms": {
"p50": 75.9,
"p95": 103.8,
"p99": 130.9
"p50": 71.2,
"p95": 97.4,
"p99": 114.6
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 27463858,
"delta_tx_bytes": 202183,
"baseline_rss_bytes": 178360320,
"delta_rx_bytes": 26410731,
"delta_tx_bytes": 192869,
"baseline_rss_bytes": 255631360,
"peak_memory_bytes": {
"rss": 201052160,
"heap_used": 56368848,
"external": 36994298,
"array_buffers": 33183530
},
"delta_rss_bytes": 22691840,
"counters": {
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 27262976,
"attachments.decode.ms": 193.75719499992556,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 25359117,
"delta_tx_bytes": 199445,
"baseline_rss_bytes": 184389632,
"peak_memory_bytes": {
"rss": 192516096,
"heap_used": 53666840,
"external": 28723916,
"array_buffers": 24917693
},
"delta_rss_bytes": 8126464,
"counters": {
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 25165824,
"attachments.decode.ms": 152.91470899997512,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
}
],
"total_delta_rx_bytes": 52822975,
"total_delta_tx_bytes": 401628,
"rx_bytes_per_upload": 1056460,
"tx_bytes_per_upload": 8033,
"max_delta_rss_bytes": 22691840
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.528,
"latency_ms": {
"p50": 75.6,
"p95": 106.0,
"p99": 124.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 26408075,
"delta_tx_bytes": 188162,
"baseline_rss_bytes": 201052160,
"peak_memory_bytes": {
"rss": 209047552,
"heap_used": 59470168,
"external": 43348610,
"array_buffers": 39528755
},
"delta_rss_bytes": 7995392,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 129.85774100001436,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26411366,
"delta_tx_bytes": 196214,
"baseline_rss_bytes": 189214720,
"peak_memory_bytes": {
"rss": 206053376,
"heap_used": 55771464,
"external": 29767218,
"array_buffers": 25958693
},
"delta_rss_bytes": 16838656,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 134.29743300002883,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
}
],
"total_delta_rx_bytes": 52819441,
"total_delta_tx_bytes": 384376,
"rx_bytes_per_upload": 1056389,
"tx_bytes_per_upload": 7688,
"max_delta_rss_bytes": 16838656
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.499,
"latency_ms": {
"p50": 71.8,
"p95": 96.8,
"p99": 111.2
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 25354317,
"delta_tx_bytes": 184357,
"baseline_rss_bytes": 190746624,
"peak_memory_bytes": {
"rss": 192581632,
"heap_used": 53105536,
"external": 22274012,
"array_buffers": 18470057
},
"delta_rss_bytes": 1835008,
"counters": {
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 25165824,
"attachments.decode.ms": 120.24603700000443,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 27462079,
"delta_tx_bytes": 189327,
"baseline_rss_bytes": 206053376,
"peak_memory_bytes": {
"rss": 206053376,
"heap_used": 53308280,
"external": 30828871,
"array_buffers": 23867652
"rss": 255631360,
"heap_used": 55130048,
"external": 30839902,
"array_buffers": 27031366
},
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 27262976,
"attachments.decode.ms": 152.01662400003988,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 149.66068200027803,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26409853,
"delta_tx_bytes": 199121,
"baseline_rss_bytes": 220901376,
"peak_memory_bytes": {
"rss": 220901376,
"heap_used": 49764944,
"external": 19106520,
"array_buffers": 15302577
},
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 134.77708099997835,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
}
],
"total_delta_rx_bytes": 52816396,
"total_delta_tx_bytes": 373684,
"rx_bytes_per_upload": 1056328,
"tx_bytes_per_upload": 7474,
"max_delta_rss_bytes": 1835008
"total_delta_rx_bytes": 52820584,
"total_delta_tx_bytes": 391990,
"rx_bytes_per_upload": 1056412,
"tx_bytes_per_upload": 7840,
"max_delta_rss_bytes": 0
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"outcomes": {
"ok": 50
},
"duration_s": 0.486,
"latency_ms": {
"p50": 67.0,
"p95": 107.3,
"p99": 117.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 26407608,
"delta_tx_bytes": 187247,
"baseline_rss_bytes": 255631360,
"peak_memory_bytes": {
"rss": 255631360,
"heap_used": 54714120,
"external": 29734772,
"array_buffers": 25926248
},
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 129.6924299999373,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26411452,
"delta_tx_bytes": 197525,
"baseline_rss_bytes": 220901376,
"peak_memory_bytes": {
"rss": 220901376,
"heap_used": 50436872,
"external": 20154009,
"array_buffers": 16352314
},
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 26214400,
"attachments.decode.ms": 146.63997799990466,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
}
],
"total_delta_rx_bytes": 52819060,
"total_delta_tx_bytes": 384772,
"rx_bytes_per_upload": 1056381,
"tx_bytes_per_upload": 7695,
"max_delta_rss_bytes": 0
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"outcomes": {
"ok": 50
},
"duration_s": 0.588,
"latency_ms": {
"p50": 79.7,
"p95": 122.1,
"p99": 146.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 24306748,
"delta_tx_bytes": 183976,
"baseline_rss_bytes": 255631360,
"peak_memory_bytes": {
"rss": 256024576,
"heap_used": 55222760,
"external": 27656537,
"array_buffers": 23848029
},
"delta_rss_bytes": 393216,
"counters": {
"attachments.count_pending_direct": 27,
"attachments.insert_pending": 27,
"attachments.direct.initiated": 27,
"attachments.find_for_complete": 23,
"attachments.direct.verify_bytes": 24117248,
"attachments.decode.ms": 164.5750180000323,
"attachments.mark_ready": 23,
"attachments.direct.completed": 23
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 28515559,
"delta_tx_bytes": 188283,
"baseline_rss_bytes": 220901376,
"peak_memory_bytes": {
"rss": 220901376,
"heap_used": 51242112,
"external": 23325182,
"array_buffers": 19516705
},
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 23,
"attachments.insert_pending": 23,
"attachments.direct.initiated": 23,
"attachments.find_for_complete": 27,
"attachments.direct.verify_bytes": 28311552,
"attachments.decode.ms": 181.22829800000181,
"attachments.mark_ready": 27,
"attachments.direct.completed": 27
}
}
],
"total_delta_rx_bytes": 52822307,
"total_delta_tx_bytes": 372259,
"rx_bytes_per_upload": 1056446,
"tx_bytes_per_upload": 7445,
"max_delta_rss_bytes": 393216
}
]
}
+132 -123
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:13:55+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:19:05+00:00",
"git": "9caa031",
"params": {
"mode": "direct",
"size_bytes": 131072,
@@ -23,193 +23,202 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.243,
"outcomes": {
"ok": 50
},
"duration_s": 0.225,
"latency_ms": {
"p50": 43.7,
"p95": 53.9,
"p99": 61.8
"p50": 39.1,
"p95": 67.1,
"p99": 70.2
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3172400,
"delta_tx_bytes": 183678,
"baseline_rss_bytes": 156618752,
"delta_rx_bytes": 3306246,
"delta_tx_bytes": 183847,
"baseline_rss_bytes": 255115264,
"peak_memory_bytes": {
"rss": 158715904,
"heap_used": 54191144,
"external": 9449376,
"array_buffers": 5653126
"rss": 255115264,
"heap_used": 52168040,
"external": 11980507,
"array_buffers": 8188021
},
"delta_rss_bytes": 2097152,
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 27,
"attachments.insert_pending": 27,
"attachments.direct.initiated": 27,
"attachments.find_for_complete": 23,
"attachments.direct.verify_bytes": 3014656,
"attachments.decode.ms": 76.10400699995807,
"attachments.mark_ready": 23,
"attachments.direct.completed": 23
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 3145728,
"attachments.decode.ms": 76.04879400000209,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3707187,
"delta_tx_bytes": 186902,
"baseline_rss_bytes": 156594176,
"delta_rx_bytes": 3572465,
"delta_tx_bytes": 185987,
"baseline_rss_bytes": 410796032,
"peak_memory_bytes": {
"rss": 157773824,
"heap_used": 53887688,
"external": 8848676,
"array_buffers": 5052846
"rss": 413024256,
"heap_used": 61028552,
"external": 11110575,
"array_buffers": 7314315
},
"delta_rss_bytes": 1179648,
"delta_rss_bytes": 2228224,
"counters": {
"attachments.count_pending_direct": 23,
"attachments.insert_pending": 23,
"attachments.direct.initiated": 23,
"attachments.find_for_complete": 27,
"attachments.direct.verify_bytes": 3538944,
"attachments.decode.ms": 104.25295099997311,
"attachments.mark_ready": 27,
"attachments.direct.completed": 27
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 3407872,
"attachments.decode.ms": 95.17834699997911,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
}
}
],
"total_delta_rx_bytes": 6879587,
"total_delta_tx_bytes": 370580,
"rx_bytes_per_upload": 137592,
"tx_bytes_per_upload": 7412,
"max_delta_rss_bytes": 2097152
"total_delta_rx_bytes": 6878711,
"total_delta_tx_bytes": 369834,
"rx_bytes_per_upload": 137574,
"tx_bytes_per_upload": 7397,
"max_delta_rss_bytes": 2228224
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.277,
"outcomes": {
"ok": 50
},
"duration_s": 0.237,
"latency_ms": {
"p50": 44.7,
"p95": 89.7,
"p99": 95.4
"p50": 39.7,
"p95": 70.8,
"p99": 71.9
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3172155,
"delta_tx_bytes": 182647,
"baseline_rss_bytes": 158715904,
"delta_rx_bytes": 3305361,
"delta_tx_bytes": 182735,
"baseline_rss_bytes": 255115264,
"peak_memory_bytes": {
"rss": 159240192,
"heap_used": 54550992,
"external": 9440830,
"array_buffers": 5644565
"rss": 255115264,
"heap_used": 52870848,
"external": 12917408,
"array_buffers": 8731525
},
"delta_rss_bytes": 524288,
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 27,
"attachments.insert_pending": 27,
"attachments.direct.initiated": 27,
"attachments.find_for_complete": 23,
"attachments.direct.verify_bytes": 3014656,
"attachments.decode.ms": 78.99052299992763,
"attachments.mark_ready": 23,
"attachments.direct.completed": 23
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 3145728,
"attachments.decode.ms": 74.47586199996294,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3706467,
"delta_tx_bytes": 186009,
"baseline_rss_bytes": 157396992,
"delta_rx_bytes": 3572269,
"delta_tx_bytes": 183875,
"baseline_rss_bytes": 413024256,
"peak_memory_bytes": {
"rss": 157790208,
"heap_used": 54303864,
"external": 8848749,
"array_buffers": 5052919
"rss": 413417472,
"heap_used": 59807944,
"external": 10703911,
"array_buffers": 6908083
},
"delta_rss_bytes": 393216,
"counters": {
"attachments.count_pending_direct": 23,
"attachments.insert_pending": 23,
"attachments.direct.initiated": 23,
"attachments.find_for_complete": 27,
"attachments.direct.verify_bytes": 3538944,
"attachments.decode.ms": 96.7698720000626,
"attachments.mark_ready": 27,
"attachments.direct.completed": 27
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 3407872,
"attachments.decode.ms": 80.40512400015723,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
}
}
],
"total_delta_rx_bytes": 6878622,
"total_delta_tx_bytes": 368656,
"rx_bytes_per_upload": 137572,
"tx_bytes_per_upload": 7373,
"max_delta_rss_bytes": 524288
"total_delta_rx_bytes": 6877630,
"total_delta_tx_bytes": 366610,
"rx_bytes_per_upload": 137553,
"tx_bytes_per_upload": 7332,
"max_delta_rss_bytes": 393216
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"outcomes": {
"ok": 50
},
"duration_s": 0.266,
"latency_ms": {
"p50": 46.8,
"p95": 70.1,
"p99": 72.4
"p50": 45.7,
"p95": 73.8,
"p99": 80.1
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3839887,
"delta_tx_bytes": 184887,
"baseline_rss_bytes": 159240192,
"delta_rx_bytes": 3306421,
"delta_tx_bytes": 183391,
"baseline_rss_bytes": 255115264,
"peak_memory_bytes": {
"rss": 165924864,
"heap_used": 56746264,
"external": 9177437,
"array_buffers": 5381598
"rss": 255377408,
"heap_used": 55403296,
"external": 12765653,
"array_buffers": 8973582
},
"delta_rss_bytes": 6684672,
"delta_rss_bytes": 262144,
"counters": {
"attachments.count_pending_direct": 22,
"attachments.insert_pending": 22,
"attachments.direct.initiated": 22,
"attachments.find_for_complete": 28,
"attachments.direct.verify_bytes": 3670016,
"attachments.decode.ms": 115.71663299991633,
"attachments.mark_ready": 28,
"attachments.direct.completed": 28
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 3145728,
"attachments.decode.ms": 113.08572699979413,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3037580,
"delta_tx_bytes": 179535,
"baseline_rss_bytes": 157790208,
"delta_rx_bytes": 3572203,
"delta_tx_bytes": 184215,
"baseline_rss_bytes": 413417472,
"peak_memory_bytes": {
"rss": 159514624,
"heap_used": 55134936,
"external": 8340329,
"array_buffers": 4545339
"rss": 413548544,
"heap_used": 60296808,
"external": 10700258,
"array_buffers": 6904444
},
"delta_rss_bytes": 1724416,
"delta_rss_bytes": 131072,
"counters": {
"attachments.count_pending_direct": 28,
"attachments.insert_pending": 28,
"attachments.direct.initiated": 28,
"attachments.find_for_complete": 22,
"attachments.direct.verify_bytes": 2883584,
"attachments.decode.ms": 78.47993500009761,
"attachments.mark_ready": 22,
"attachments.direct.completed": 22
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 3407872,
"attachments.decode.ms": 102.82485899998574,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
}
}
],
"total_delta_rx_bytes": 6877467,
"total_delta_tx_bytes": 364422,
"rx_bytes_per_upload": 137549,
"tx_bytes_per_upload": 7288,
"max_delta_rss_bytes": 6684672
"total_delta_rx_bytes": 6878624,
"total_delta_tx_bytes": 367606,
"rx_bytes_per_upload": 137572,
"tx_bytes_per_upload": 7352,
"max_delta_rss_bytes": 262144
}
]
}
+150 -141
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:14:37+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:19:48+00:00",
"git": "9caa031",
"params": {
"mode": "direct",
"size_bytes": 9961472,
@@ -23,193 +23,202 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 3.609,
"outcomes": {
"ok": 50
},
"duration_s": 3.75,
"latency_ms": {
"p50": 437.2,
"p95": 593.2,
"p99": 654.5
"p50": 448.3,
"p95": 674.2,
"p99": 702.9
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 249509901,
"delta_tx_bytes": 287547,
"baseline_rss_bytes": 195174400,
"delta_rx_bytes": 259479426,
"delta_tx_bytes": 287642,
"baseline_rss_bytes": 280027136,
"peak_memory_bytes": {
"rss": 288415744,
"heap_used": 54409488,
"external": 117617657,
"array_buffers": 113825666
"rss": 322101248,
"heap_used": 54779008,
"external": 104107482,
"array_buffers": 100313819
},
"delta_rss_bytes": 93241344,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 249036800,
"attachments.decode.ms": 315.7971269999689,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 249507617,
"delta_tx_bytes": 274665,
"baseline_rss_bytes": 214401024,
"peak_memory_bytes": {
"rss": 289472512,
"heap_used": 51210776,
"external": 78987756,
"array_buffers": 75194088
},
"delta_rss_bytes": 75071488,
"counters": {
"attachments.count_pending_direct": 25,
"attachments.insert_pending": 25,
"attachments.direct.initiated": 25,
"attachments.find_for_complete": 25,
"attachments.direct.verify_bytes": 249036800,
"attachments.decode.ms": 276.87352200000896,
"attachments.mark_ready": 25,
"attachments.direct.completed": 25
}
}
],
"total_delta_rx_bytes": 499017518,
"total_delta_tx_bytes": 562212,
"rx_bytes_per_upload": 9980350,
"tx_bytes_per_upload": 11244,
"max_delta_rss_bytes": 93241344
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 3.4,
"latency_ms": {
"p50": 424.6,
"p95": 661.8,
"p99": 810.6
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 239528101,
"delta_tx_bytes": 272852,
"baseline_rss_bytes": 205328384,
"peak_memory_bytes": {
"rss": 300617728,
"heap_used": 50698680,
"external": 103322639,
"array_buffers": 99528980
},
"delta_rss_bytes": 95289344,
"counters": {
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 239075328,
"attachments.decode.ms": 398.21300999989035,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 259470789,
"delta_tx_bytes": 262770,
"baseline_rss_bytes": 246329344,
"peak_memory_bytes": {
"rss": 286126080,
"heap_used": 50197744,
"external": 84091903,
"array_buffers": 80294845
},
"delta_rss_bytes": 39796736,
"delta_rss_bytes": 42074112,
"counters": {
"attachments.count_pending_direct": 24,
"attachments.insert_pending": 24,
"attachments.direct.initiated": 24,
"attachments.find_for_complete": 26,
"attachments.direct.verify_bytes": 258998272,
"attachments.decode.ms": 379.7956310000154,
"attachments.decode.ms": 498.32417600008193,
"attachments.mark_ready": 26,
"attachments.direct.completed": 26
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 239524438,
"delta_tx_bytes": 268169,
"baseline_rss_bytes": 243490816,
"peak_memory_bytes": {
"rss": 326799360,
"heap_used": 54201104,
"external": 106161894,
"array_buffers": 102364928
},
"delta_rss_bytes": 83308544,
"counters": {
"attachments.count_pending_direct": 26,
"attachments.insert_pending": 26,
"attachments.direct.initiated": 26,
"attachments.find_for_complete": 24,
"attachments.direct.verify_bytes": 239075328,
"attachments.decode.ms": 373.651800000167,
"attachments.mark_ready": 24,
"attachments.direct.completed": 24
}
}
],
"total_delta_rx_bytes": 498998890,
"total_delta_tx_bytes": 535622,
"rx_bytes_per_upload": 9979978,
"tx_bytes_per_upload": 10712,
"max_delta_rss_bytes": 95289344
"total_delta_rx_bytes": 499003864,
"total_delta_tx_bytes": 555811,
"rx_bytes_per_upload": 9980077,
"tx_bytes_per_upload": 11116,
"max_delta_rss_bytes": 83308544
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 3.356,
"outcomes": {
"ok": 50
},
"duration_s": 3.749,
"latency_ms": {
"p50": 420.6,
"p95": 614.8,
"p99": 658.8
"p50": 471.3,
"p95": 672.0,
"p99": 739.0
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 279414785,
"delta_tx_bytes": 268777,
"baseline_rss_bytes": 247771136,
"delta_rx_bytes": 229545332,
"delta_tx_bytes": 272949,
"baseline_rss_bytes": 322101248,
"peak_memory_bytes": {
"rss": 275718144,
"heap_used": 51721152,
"external": 97550522,
"array_buffers": 92510562
"rss": 322101248,
"heap_used": 53139240,
"external": 120388652,
"array_buffers": 115495375
},
"delta_rss_bytes": 27947008,
"delta_rss_bytes": 0,
"counters": {
"attachments.count_pending_direct": 22,
"attachments.insert_pending": 22,
"attachments.direct.initiated": 22,
"attachments.find_for_complete": 28,
"attachments.direct.verify_bytes": 278921216,
"attachments.decode.ms": 460.6956299999729,
"attachments.mark_ready": 28,
"attachments.direct.completed": 28
"attachments.count_pending_direct": 27,
"attachments.insert_pending": 27,
"attachments.direct.initiated": 27,
"attachments.find_for_complete": 23,
"attachments.direct.verify_bytes": 229113856,
"attachments.decode.ms": 295.2854530001059,
"attachments.mark_ready": 23,
"attachments.direct.completed": 23
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 219572364,
"delta_tx_bytes": 248203,
"baseline_rss_bytes": 246599680,
"delta_rx_bytes": 269451762,
"delta_tx_bytes": 274913,
"baseline_rss_bytes": 294375424,
"peak_memory_bytes": {
"rss": 280461312,
"heap_used": 51774984,
"external": 90380520,
"array_buffers": 86585199
"rss": 360865792,
"heap_used": 53636296,
"external": 157544946,
"array_buffers": 153746128
},
"delta_rss_bytes": 33861632,
"delta_rss_bytes": 66490368,
"counters": {
"attachments.count_pending_direct": 23,
"attachments.insert_pending": 23,
"attachments.direct.initiated": 23,
"attachments.find_for_complete": 27,
"attachments.direct.verify_bytes": 268959744,
"attachments.decode.ms": 467.34784599993145,
"attachments.mark_ready": 27,
"attachments.direct.completed": 27
}
}
],
"total_delta_rx_bytes": 498997094,
"total_delta_tx_bytes": 547862,
"rx_bytes_per_upload": 9979942,
"tx_bytes_per_upload": 10957,
"max_delta_rss_bytes": 66490368
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"outcomes": {
"ok": 50
},
"duration_s": 3.501,
"latency_ms": {
"p50": 404.2,
"p95": 599.0,
"p99": 605.8
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 219577054,
"delta_tx_bytes": 272143,
"baseline_rss_bytes": 270405632,
"peak_memory_bytes": {
"rss": 290258944,
"heap_used": 52555024,
"external": 103954247,
"array_buffers": 100162235
},
"delta_rss_bytes": 19853312,
"counters": {
"attachments.count_pending_direct": 28,
"attachments.insert_pending": 28,
"attachments.direct.initiated": 28,
"attachments.find_for_complete": 22,
"attachments.direct.verify_bytes": 219152384,
"attachments.decode.ms": 303.119670999964,
"attachments.decode.ms": 273.8368729999056,
"attachments.mark_ready": 22,
"attachments.direct.completed": 22
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 279433430,
"delta_tx_bytes": 286105,
"baseline_rss_bytes": 223891456,
"peak_memory_bytes": {
"rss": 294211584,
"heap_used": 50865176,
"external": 84552392,
"array_buffers": 80757048
},
"delta_rss_bytes": 70320128,
"counters": {
"attachments.count_pending_direct": 22,
"attachments.insert_pending": 22,
"attachments.direct.initiated": 22,
"attachments.find_for_complete": 28,
"attachments.direct.verify_bytes": 278921216,
"attachments.decode.ms": 406.8028439999907,
"attachments.mark_ready": 28,
"attachments.direct.completed": 28
}
}
],
"total_delta_rx_bytes": 498987149,
"total_delta_tx_bytes": 516980,
"rx_bytes_per_upload": 9979743,
"tx_bytes_per_upload": 10340,
"max_delta_rss_bytes": 33861632
"total_delta_rx_bytes": 499010484,
"total_delta_tx_bytes": 558248,
"rx_bytes_per_upload": 9980210,
"tx_bytes_per_upload": 11165,
"max_delta_rss_bytes": 70320128
}
]
}
+123 -111
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:17:56+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:23:13+00:00",
"git": "9caa031",
"params": {
"mode": "direct",
"size_bytes": 10485760,
@@ -8,7 +8,7 @@
"uploads_per_worker": 2,
"repeat": 3,
"users": 32,
"image": "tmp.n0I8NPEIWj.png"
"image": "worst-40mp-rgba16-adam7.png"
},
"host": {
"nproc": 8,
@@ -23,195 +23,207 @@
"uploads": 64,
"succeeded": 48,
"failed": 16,
"duration_s": 25.799,
"outcomes": {
"ok": 48,
"complete:429": 16
},
"duration_s": 25.881,
"latency_ms": {
"p50": 10903.2,
"p95": 13413.2,
"p99": 14173.1
"p50": 11067.1,
"p95": 13423.0,
"p99": 14220.4
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 168207096,
"delta_tx_bytes": 377593,
"baseline_rss_bytes": 413126656,
"delta_rx_bytes": 168217561,
"delta_tx_bytes": 384114,
"baseline_rss_bytes": 428978176,
"peak_memory_bytes": {
"rss": 811970560,
"heap_used": 51684264,
"external": 224794743,
"array_buffers": 221004399
"rss": 823418880,
"heap_used": 52305208,
"external": 243338213,
"array_buffers": 239547869
},
"delta_rss_bytes": 398843904,
"delta_rss_bytes": 394440704,
"counters": {
"attachments.count_pending_direct": 48,
"attachments.insert_pending": 48,
"attachments.direct.initiated": 48,
"attachments.find_for_complete": 16,
"attachments.direct.verify_bytes": 167772160,
"attachments.decode.ms": 12822.89115199988,
"attachments.decode.ms": 13205.84250300005,
"attachments.mark_ready": 16,
"attachments.direct.completed": 16
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336356397,
"delta_tx_bytes": 437597,
"baseline_rss_bytes": 273133568,
"delta_rx_bytes": 336236648,
"delta_tx_bytes": 458338,
"baseline_rss_bytes": 288284672,
"peak_memory_bytes": {
"rss": 811171840,
"heap_used": 50554752,
"external": 236627771,
"array_buffers": 232837243
"rss": 803422208,
"heap_used": 51748952,
"external": 236179385,
"array_buffers": 232389041
},
"delta_rss_bytes": 538038272,
"delta_rss_bytes": 515137536,
"counters": {
"attachments.count_pending_direct": 16,
"attachments.insert_pending": 16,
"attachments.direct.initiated": 16,
"attachments.find_for_complete": 48,
"attachments.direct.verify_bytes": 335544320,
"attachments.decode.ms": 24913.963424000074,
"attachments.decode.ms": 24842.089320000494,
"attachments.mark_ready": 32,
"attachments.direct.completed": 32
}
}
],
"total_delta_rx_bytes": 504563493,
"total_delta_tx_bytes": 815190,
"rx_bytes_per_upload": 7883805,
"tx_bytes_per_upload": 12737,
"max_delta_rss_bytes": 538038272
"total_delta_rx_bytes": 504454209,
"total_delta_tx_bytes": 842452,
"rx_bytes_per_upload": 7882097,
"tx_bytes_per_upload": 13163,
"max_delta_rss_bytes": 515137536
},
{
"uploads": 64,
"succeeded": 48,
"failed": 16,
"duration_s": 25.734,
"succeeded": 60,
"failed": 4,
"outcomes": {
"ok": 60,
"complete:429": 4
},
"duration_s": 26.523,
"latency_ms": {
"p50": 11194.6,
"p95": 13476.1,
"p99": 14262.3
"p50": 11841.6,
"p95": 13541.3,
"p99": 14293.7
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 168183438,
"delta_tx_bytes": 346932,
"baseline_rss_bytes": 458866688,
"delta_rx_bytes": 294214487,
"delta_tx_bytes": 425744,
"baseline_rss_bytes": 470261760,
"peak_memory_bytes": {
"rss": 790888448,
"heap_used": 51757664,
"external": 233673177,
"array_buffers": 229882833
"rss": 828153856,
"heap_used": 51846456,
"external": 242086934,
"array_buffers": 238296517
},
"delta_rss_bytes": 332021760,
"delta_rss_bytes": 357892096,
"counters": {
"attachments.count_pending_direct": 48,
"attachments.insert_pending": 48,
"attachments.direct.initiated": 48,
"attachments.find_for_complete": 16,
"attachments.direct.verify_bytes": 167772160,
"attachments.decode.ms": 12989.242685000005,
"attachments.mark_ready": 16,
"attachments.direct.completed": 16,
"attachments.claim_expired": 1
"attachments.count_pending_direct": 36,
"attachments.insert_pending": 36,
"attachments.direct.initiated": 36,
"attachments.find_for_complete": 28,
"attachments.direct.verify_bytes": 293601280,
"attachments.decode.ms": 22602.63425100036,
"attachments.mark_ready": 28,
"attachments.claim_expired": 1,
"attachments.direct.completed": 28
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336214769,
"delta_tx_bytes": 436112,
"baseline_rss_bytes": 457699328,
"delta_rx_bytes": 336212832,
"delta_tx_bytes": 461394,
"baseline_rss_bytes": 429502464,
"peak_memory_bytes": {
"rss": 825307136,
"heap_used": 54086928,
"external": 219073224,
"array_buffers": 208987973
"rss": 814202880,
"heap_used": 51503296,
"external": 256575006,
"array_buffers": 212949888
},
"delta_rss_bytes": 367607808,
"delta_rss_bytes": 384700416,
"counters": {
"attachments.count_pending_direct": 16,
"attachments.insert_pending": 16,
"attachments.direct.initiated": 16,
"attachments.find_for_complete": 48,
"attachments.count_pending_direct": 28,
"attachments.insert_pending": 28,
"attachments.direct.initiated": 28,
"attachments.find_for_complete": 36,
"attachments.direct.verify_bytes": 335544320,
"attachments.decode.ms": 24466.148074000026,
"attachments.decode.ms": 25502.105729999603,
"attachments.mark_ready": 32,
"attachments.direct.completed": 32,
"attachments.claim_expired": 1
}
}
],
"total_delta_rx_bytes": 504398207,
"total_delta_tx_bytes": 783044,
"rx_bytes_per_upload": 7881222,
"tx_bytes_per_upload": 12235,
"max_delta_rss_bytes": 367607808
"total_delta_rx_bytes": 630427319,
"total_delta_tx_bytes": 887138,
"rx_bytes_per_upload": 9850427,
"tx_bytes_per_upload": 13862,
"max_delta_rss_bytes": 384700416
},
{
"uploads": 64,
"succeeded": 48,
"failed": 16,
"duration_s": 25.623,
"succeeded": 59,
"failed": 5,
"outcomes": {
"complete:429": 5,
"ok": 59
},
"duration_s": 26.673,
"latency_ms": {
"p50": 10789.6,
"p95": 13221.5,
"p99": 14052.1
"p50": 10563.3,
"p95": 13343.1,
"p99": 14265.7
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 168209005,
"delta_tx_bytes": 348167,
"baseline_rss_bytes": 437620736,
"delta_rx_bytes": 283773903,
"delta_tx_bytes": 418163,
"baseline_rss_bytes": 474800128,
"peak_memory_bytes": {
"rss": 822276096,
"heap_used": 51899912,
"external": 234753853,
"array_buffers": 230961509
"rss": 829358080,
"heap_used": 51810024,
"external": 242621863,
"array_buffers": 228344296
},
"delta_rss_bytes": 384655360,
"delta_rss_bytes": 354557952,
"counters": {
"attachments.count_pending_direct": 48,
"attachments.insert_pending": 48,
"attachments.direct.initiated": 48,
"attachments.find_for_complete": 16,
"attachments.direct.verify_bytes": 167772160,
"attachments.decode.ms": 12794.351691999997,
"attachments.mark_ready": 16,
"attachments.direct.completed": 16
"attachments.count_pending_direct": 37,
"attachments.insert_pending": 37,
"attachments.direct.initiated": 37,
"attachments.find_for_complete": 27,
"attachments.direct.verify_bytes": 283115520,
"attachments.decode.ms": 22160.10410899995,
"attachments.mark_ready": 27,
"attachments.direct.completed": 27
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336206395,
"delta_tx_bytes": 391291,
"baseline_rss_bytes": 472084480,
"delta_rx_bytes": 336214318,
"delta_tx_bytes": 426666,
"baseline_rss_bytes": 461180928,
"peak_memory_bytes": {
"rss": 803594240,
"heap_used": 54432464,
"external": 237968850,
"array_buffers": 234178395
"rss": 814313472,
"heap_used": 54614560,
"external": 256831606,
"array_buffers": 229984560
},
"delta_rss_bytes": 331509760,
"delta_rss_bytes": 353132544,
"counters": {
"attachments.count_pending_direct": 16,
"attachments.insert_pending": 16,
"attachments.direct.initiated": 16,
"attachments.find_for_complete": 48,
"attachments.count_pending_direct": 27,
"attachments.insert_pending": 27,
"attachments.direct.initiated": 27,
"attachments.find_for_complete": 37,
"attachments.direct.verify_bytes": 335544320,
"attachments.decode.ms": 24526.03154399991,
"attachments.decode.ms": 25823.93422999978,
"attachments.mark_ready": 32,
"attachments.direct.completed": 32
}
}
],
"total_delta_rx_bytes": 504415400,
"total_delta_tx_bytes": 739458,
"rx_bytes_per_upload": 7881491,
"tx_bytes_per_upload": 11554,
"max_delta_rss_bytes": 384655360
"total_delta_rx_bytes": 619988221,
"total_delta_tx_bytes": 844829,
"rx_bytes_per_upload": 9687316,
"tx_bytes_per_upload": 13200,
"max_delta_rss_bytes": 354557952
}
]
}
+92 -83
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:14:01+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:19:11+00:00",
"git": "9caa031",
"params": {
"mode": "proxy",
"size_bytes": 1048576,
@@ -23,29 +23,32 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.392,
"outcomes": {
"ok": 50
},
"duration_s": 0.402,
"latency_ms": {
"p50": 56.0,
"p95": 100.2,
"p99": 108.3
"p50": 48.4,
"p95": 84.1,
"p99": 92.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 26387282,
"delta_tx_bytes": 26396329,
"baseline_rss_bytes": 167575552,
"delta_rx_bytes": 26376487,
"delta_tx_bytes": 26404723,
"baseline_rss_bytes": 255217664,
"peak_memory_bytes": {
"rss": 180232192,
"heap_used": 54305016,
"external": 22415054,
"array_buffers": 18606583
"rss": 255610880,
"heap_used": 52221216,
"external": 23026820,
"array_buffers": 19216043
},
"delta_rss_bytes": 12656640,
"delta_rss_bytes": 393216,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 161.38972300002933,
"attachments.decode.ms": 156.9926100000739,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -53,59 +56,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26380621,
"delta_tx_bytes": 26397967,
"baseline_rss_bytes": 164233216,
"delta_rx_bytes": 26386314,
"delta_tx_bytes": 26402341,
"baseline_rss_bytes": 413614080,
"peak_memory_bytes": {
"rss": 182816768,
"heap_used": 55081640,
"external": 25150489,
"array_buffers": 21337451
"rss": 413876224,
"heap_used": 55746224,
"external": 28951897,
"array_buffers": 25131678
},
"delta_rss_bytes": 18583552,
"delta_rss_bytes": 262144,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 153.55793299997458,
"attachments.decode.ms": 162.94164999981876,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 52767903,
"total_delta_tx_bytes": 52794296,
"rx_bytes_per_upload": 1055358,
"tx_bytes_per_upload": 1055886,
"max_delta_rss_bytes": 18583552
"total_delta_rx_bytes": 52762801,
"total_delta_tx_bytes": 52807064,
"rx_bytes_per_upload": 1055256,
"tx_bytes_per_upload": 1056141,
"max_delta_rss_bytes": 393216
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.44,
"outcomes": {
"ok": 50
},
"duration_s": 0.38,
"latency_ms": {
"p50": 57.0,
"p95": 123.6,
"p99": 164.4
"p50": 50.7,
"p95": 82.2,
"p99": 88.5
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 26400102,
"delta_tx_bytes": 26408679,
"baseline_rss_bytes": 180232192,
"delta_rx_bytes": 26388819,
"delta_tx_bytes": 26402419,
"baseline_rss_bytes": 255610880,
"peak_memory_bytes": {
"rss": 186654720,
"heap_used": 52146632,
"external": 28489237,
"array_buffers": 24678454
"rss": 255741952,
"heap_used": 53542032,
"external": 30837329,
"array_buffers": 27022020
},
"delta_rss_bytes": 6422528,
"delta_rss_bytes": 131072,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 200.20289300006698,
"attachments.decode.ms": 149.34638900024584,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -113,59 +119,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26378813,
"delta_tx_bytes": 26400238,
"baseline_rss_bytes": 182816768,
"delta_rx_bytes": 26377403,
"delta_tx_bytes": 26400247,
"baseline_rss_bytes": 220905472,
"peak_memory_bytes": {
"rss": 191991808,
"heap_used": 53527584,
"external": 35009900,
"array_buffers": 31190059
"rss": 221036544,
"heap_used": 51357984,
"external": 22079805,
"array_buffers": 18271239
},
"delta_rss_bytes": 9175040,
"delta_rss_bytes": 131072,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 137.82972499995958,
"attachments.decode.ms": 137.65105199965183,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 52778915,
"total_delta_tx_bytes": 52808917,
"rx_bytes_per_upload": 1055578,
"tx_bytes_per_upload": 1056178,
"max_delta_rss_bytes": 9175040
"total_delta_rx_bytes": 52766222,
"total_delta_tx_bytes": 52802666,
"rx_bytes_per_upload": 1055324,
"tx_bytes_per_upload": 1056053,
"max_delta_rss_bytes": 131072
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.37,
"outcomes": {
"ok": 50
},
"duration_s": 0.385,
"latency_ms": {
"p50": 46.4,
"p95": 81.6,
"p99": 99.1
"p50": 49.7,
"p95": 73.2,
"p99": 80.6
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 26383217,
"delta_tx_bytes": 26399979,
"baseline_rss_bytes": 181960704,
"delta_rx_bytes": 26383716,
"delta_tx_bytes": 26401715,
"baseline_rss_bytes": 255741952,
"peak_memory_bytes": {
"rss": 188776448,
"heap_used": 52208392,
"external": 28664130,
"array_buffers": 24846506
"rss": 255873024,
"heap_used": 52957000,
"external": 26930642,
"array_buffers": 23117596
},
"delta_rss_bytes": 6815744,
"delta_rss_bytes": 131072,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 139.54196999999112,
"attachments.decode.ms": 139.30256199993892,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -173,31 +182,31 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 26394762,
"delta_tx_bytes": 26403375,
"baseline_rss_bytes": 179302400,
"delta_rx_bytes": 26386387,
"delta_tx_bytes": 26402657,
"baseline_rss_bytes": 221036544,
"peak_memory_bytes": {
"rss": 184086528,
"heap_used": 50413992,
"external": 24938566,
"array_buffers": 21130086
"rss": 221036544,
"heap_used": 51459840,
"external": 22079805,
"array_buffers": 16097979
},
"delta_rss_bytes": 4784128,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 26214400,
"attachments.decode.ms": 202.13070199999493,
"attachments.decode.ms": 120.35195299994666,
"attachments.proxy.bytes_to_s3": 26214400,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 52777979,
"total_delta_tx_bytes": 52803354,
"rx_bytes_per_upload": 1055560,
"tx_bytes_per_upload": 1056067,
"max_delta_rss_bytes": 6815744
"total_delta_rx_bytes": 52770103,
"total_delta_tx_bytes": 52804372,
"rx_bytes_per_upload": 1055402,
"tx_bytes_per_upload": 1056087,
"max_delta_rss_bytes": 131072
}
]
}
+92 -83
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:13:50+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:18:59+00:00",
"git": "9caa031",
"params": {
"mode": "proxy",
"size_bytes": 131072,
@@ -23,29 +23,32 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.166,
"outcomes": {
"ok": 50
},
"duration_s": 0.169,
"latency_ms": {
"p50": 26.0,
"p95": 43.4,
"p99": 53.2
"p50": 26.1,
"p95": 46.2,
"p99": 49.0
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3383029,
"delta_tx_bytes": 3398057,
"baseline_rss_bytes": 140619776,
"delta_rx_bytes": 3382850,
"delta_tx_bytes": 3398303,
"baseline_rss_bytes": 468705280,
"peak_memory_bytes": {
"rss": 149794816,
"heap_used": 51367680,
"external": 8055768,
"array_buffers": 4261819
"rss": 468705280,
"heap_used": 50851544,
"external": 134219881,
"array_buffers": 130427173
},
"delta_rss_bytes": 9175040,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 83.07460599998012,
"attachments.decode.ms": 100.31424599990714,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -53,59 +56,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3381990,
"delta_tx_bytes": 3399067,
"baseline_rss_bytes": 139079680,
"delta_rx_bytes": 3382858,
"delta_tx_bytes": 3398701,
"baseline_rss_bytes": 449990656,
"peak_memory_bytes": {
"rss": 148328448,
"heap_used": 51262864,
"external": 7893259,
"array_buffers": 4099697
"rss": 451563520,
"heap_used": 58537824,
"external": 181003027,
"array_buffers": 177201619
},
"delta_rss_bytes": 9248768,
"delta_rss_bytes": 1572864,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 89.15959899991867,
"attachments.decode.ms": 102.65141499997117,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 6765019,
"total_delta_tx_bytes": 6797124,
"rx_bytes_per_upload": 135300,
"tx_bytes_per_upload": 135942,
"max_delta_rss_bytes": 9248768
"total_delta_rx_bytes": 6765708,
"total_delta_tx_bytes": 6797004,
"rx_bytes_per_upload": 135314,
"tx_bytes_per_upload": 135940,
"max_delta_rss_bytes": 1572864
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.173,
"outcomes": {
"ok": 50
},
"duration_s": 0.198,
"latency_ms": {
"p50": 27.7,
"p95": 49.1,
"p99": 49.5
"p50": 24.7,
"p95": 79.6,
"p99": 87.8
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3377379,
"delta_tx_bytes": 3394793,
"baseline_rss_bytes": 149794816,
"delta_rx_bytes": 3378497,
"delta_tx_bytes": 3395989,
"baseline_rss_bytes": 468705280,
"peak_memory_bytes": {
"rss": 149925888,
"heap_used": 50693344,
"external": 7902800,
"array_buffers": 4109077
"rss": 468705280,
"heap_used": 51433088,
"external": 135937131,
"array_buffers": 132143156
},
"delta_rss_bytes": 131072,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 85.17745499999728,
"attachments.decode.ms": 133.3207659999607,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -113,59 +119,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3377406,
"delta_tx_bytes": 3395327,
"baseline_rss_bytes": 148328448,
"delta_rx_bytes": 3377682,
"delta_tx_bytes": 3396121,
"baseline_rss_bytes": 410624000,
"peak_memory_bytes": {
"rss": 149770240,
"heap_used": 51549096,
"external": 8924915,
"array_buffers": 4317559
"rss": 410624000,
"heap_used": 57652400,
"external": 13565945,
"array_buffers": 9765488
},
"delta_rss_bytes": 1441792,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 96.18780900008278,
"attachments.decode.ms": 68.74197999993339,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 6754785,
"total_delta_tx_bytes": 6790120,
"rx_bytes_per_upload": 135096,
"tx_bytes_per_upload": 135802,
"max_delta_rss_bytes": 1441792
"total_delta_rx_bytes": 6756179,
"total_delta_tx_bytes": 6792110,
"rx_bytes_per_upload": 135124,
"tx_bytes_per_upload": 135842,
"max_delta_rss_bytes": 0
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 0.206,
"outcomes": {
"ok": 50
},
"duration_s": 0.161,
"latency_ms": {
"p50": 33.9,
"p95": 57.9,
"p99": 66.3
"p50": 26.1,
"p95": 42.7,
"p99": 45.7
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 3376104,
"delta_tx_bytes": 3395515,
"baseline_rss_bytes": 149925888,
"delta_rx_bytes": 3374905,
"delta_tx_bytes": 3395785,
"baseline_rss_bytes": 254783488,
"peak_memory_bytes": {
"rss": 156610560,
"heap_used": 52936520,
"external": 10702533,
"array_buffers": 6907528
"rss": 254783488,
"heap_used": 51574496,
"external": 12158693,
"array_buffers": 8364940
},
"delta_rss_bytes": 6684672,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 92.25257400004193,
"attachments.decode.ms": 77.51481299975421,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -173,31 +182,31 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 3375521,
"delta_tx_bytes": 3395653,
"baseline_rss_bytes": 149770240,
"delta_rx_bytes": 3376331,
"delta_tx_bytes": 3394989,
"baseline_rss_bytes": 410624000,
"peak_memory_bytes": {
"rss": 155930624,
"heap_used": 52559728,
"external": 11541159,
"array_buffers": 7744900
"rss": 410624000,
"heap_used": 58715704,
"external": 14697744,
"array_buffers": 10896445
},
"delta_rss_bytes": 6160384,
"delta_rss_bytes": 0,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 3276800,
"attachments.decode.ms": 134.16439100005664,
"attachments.decode.ms": 79.76343099982478,
"attachments.proxy.bytes_to_s3": 3276800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 6751625,
"total_delta_tx_bytes": 6791168,
"rx_bytes_per_upload": 135032,
"tx_bytes_per_upload": 135823,
"max_delta_rss_bytes": 6684672
"total_delta_rx_bytes": 6751236,
"total_delta_tx_bytes": 6790774,
"rx_bytes_per_upload": 135025,
"tx_bytes_per_upload": 135815,
"max_delta_rss_bytes": 0
}
]
}
+129 -120
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:14:21+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:19:32+00:00",
"git": "9caa031",
"params": {
"mode": "proxy",
"size_bytes": 9961472,
@@ -23,29 +23,33 @@
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 2.855,
"outcomes": {
"ok": 50
},
"duration_s": 2.923,
"latency_ms": {
"p50": 254.6,
"p95": 441.6,
"p99": 469.3
"p50": 245.8,
"p95": 426.3,
"p99": 473.7
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 249684122,
"delta_tx_bytes": 249819648,
"baseline_rss_bytes": 194351104,
"delta_rx_bytes": 249684975,
"delta_tx_bytes": 249854149,
"baseline_rss_bytes": 257658880,
"peak_memory_bytes": {
"rss": 243703808,
"heap_used": 49360872,
"external": 68770063,
"array_buffers": 64974750
"rss": 258445312,
"heap_used": 50586328,
"external": 54821684,
"array_buffers": 51025026
},
"delta_rss_bytes": 49352704,
"delta_rss_bytes": 786432,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 317.76610400003847,
"attachments.claim_expired": 1,
"attachments.decode.ms": 319.71605499990983,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
@@ -53,153 +57,158 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 249687515,
"delta_tx_bytes": 249813144,
"baseline_rss_bytes": 212090880,
"delta_rx_bytes": 249696173,
"delta_tx_bytes": 249850753,
"baseline_rss_bytes": 242159616,
"peak_memory_bytes": {
"rss": 245616640,
"heap_used": 49395480,
"external": 62511358,
"array_buffers": 58716046
"rss": 263458816,
"heap_used": 50272920,
"external": 64509948,
"array_buffers": 60710825
},
"delta_rss_bytes": 33525760,
"delta_rss_bytes": 21299200,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 328.639833000052,
"attachments.decode.ms": 417.5356929998379,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
"attachments.upload.created": 25,
"attachments.claim_expired": 1
}
}
],
"total_delta_rx_bytes": 499371637,
"total_delta_tx_bytes": 499632792,
"rx_bytes_per_upload": 9987433,
"tx_bytes_per_upload": 9992656,
"max_delta_rss_bytes": 49352704
"total_delta_rx_bytes": 499381148,
"total_delta_tx_bytes": 499704902,
"rx_bytes_per_upload": 9987623,
"tx_bytes_per_upload": 9994098,
"max_delta_rss_bytes": 21299200
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 2.859,
"outcomes": {
"ok": 50
},
"duration_s": 2.962,
"latency_ms": {
"p50": 218.9,
"p95": 429.5,
"p99": 473.5
"p50": 218.3,
"p95": 399.3,
"p99": 460.0
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 249691287,
"delta_tx_bytes": 249848369,
"baseline_rss_bytes": 243703808,
"delta_rx_bytes": 249696535,
"delta_tx_bytes": 249834513,
"baseline_rss_bytes": 258445312,
"peak_memory_bytes": {
"rss": 247758848,
"heap_used": 49779768,
"external": 74267235,
"array_buffers": 70471924
},
"delta_rss_bytes": 4055040,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 323.61892599996645,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 249684697,
"delta_tx_bytes": 249842962,
"baseline_rss_bytes": 204165120,
"peak_memory_bytes": {
"rss": 244056064,
"heap_used": 50327648,
"external": 69652092,
"array_buffers": 65858420
},
"delta_rss_bytes": 39890944,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 374.5309960000159,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 499375984,
"total_delta_tx_bytes": 499691331,
"rx_bytes_per_upload": 9987520,
"tx_bytes_per_upload": 9993827,
"max_delta_rss_bytes": 39890944
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"duration_s": 2.833,
"latency_ms": {
"p50": 232.3,
"p95": 371.9,
"p99": 484.0
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 249693755,
"delta_tx_bytes": 249824387,
"baseline_rss_bytes": 213168128,
"peak_memory_bytes": {
"rss": 233091072,
"heap_used": 49724808,
"external": 74286513,
"array_buffers": 58931141
"rss": 278368256,
"heap_used": 51479592,
"external": 64969358,
"array_buffers": 60432585
},
"delta_rss_bytes": 19922944,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 245.89502999989782,
"attachments.decode.ms": 418.99375499994494,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25,
"attachments.claim_expired": 1
"attachments.upload.created": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 249643327,
"delta_tx_bytes": 249823027,
"baseline_rss_bytes": 214241280,
"delta_rx_bytes": 249668505,
"delta_tx_bytes": 249828657,
"baseline_rss_bytes": 263458816,
"peak_memory_bytes": {
"rss": 245899264,
"heap_used": 50003816,
"external": 74661871,
"array_buffers": 52933830
"rss": 286236672,
"heap_used": 50811912,
"external": 98237420,
"array_buffers": 75492114
},
"delta_rss_bytes": 31657984,
"delta_rss_bytes": 22777856,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 375.14921199998935,
"attachments.decode.ms": 377.89479400013806,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25,
"attachments.claim_expired": 1
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 499337082,
"total_delta_tx_bytes": 499647414,
"rx_bytes_per_upload": 9986742,
"tx_bytes_per_upload": 9992948,
"max_delta_rss_bytes": 31657984
"total_delta_rx_bytes": 499365040,
"total_delta_tx_bytes": 499663170,
"rx_bytes_per_upload": 9987301,
"tx_bytes_per_upload": 9993263,
"max_delta_rss_bytes": 22777856
},
{
"uploads": 50,
"succeeded": 50,
"failed": 0,
"outcomes": {
"ok": 50
},
"duration_s": 2.985,
"latency_ms": {
"p50": 244.7,
"p95": 375.1,
"p99": 434.8
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 249713919,
"delta_tx_bytes": 249869668,
"baseline_rss_bytes": 278368256,
"peak_memory_bytes": {
"rss": 280072192,
"heap_used": 51096488,
"external": 54668040,
"array_buffers": 50874378
},
"delta_rss_bytes": 1703936,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 335.8925800000434,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 249686633,
"delta_tx_bytes": 249847874,
"baseline_rss_bytes": 243417088,
"peak_memory_bytes": {
"rss": 253378560,
"heap_used": 50078992,
"external": 54471131,
"array_buffers": 50675083
},
"delta_rss_bytes": 9961472,
"counters": {
"attachments.insert_pending": 25,
"attachments.proxy.bytes_in": 249036800,
"attachments.decode.ms": 318.2283639999805,
"attachments.proxy.bytes_to_s3": 249036800,
"attachments.mark_ready": 25,
"attachments.upload.created": 25
}
}
],
"total_delta_rx_bytes": 499400552,
"total_delta_tx_bytes": 499717542,
"rx_bytes_per_upload": 9988011,
"tx_bytes_per_upload": 9994351,
"max_delta_rss_bytes": 9961472
}
]
}
+92 -83
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:15:00+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:20:13+00:00",
"git": "9caa031",
"params": {
"mode": "proxy",
"size_bytes": 9961472,
@@ -23,29 +23,32 @@
"uploads": 100,
"succeeded": 100,
"failed": 0,
"duration_s": 5.725,
"outcomes": {
"ok": 100
},
"duration_s": 6.03,
"latency_ms": {
"p50": 386.4,
"p95": 694.0,
"p99": 1065.1
"p50": 446.3,
"p95": 781.2,
"p99": 875.5
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 499431062,
"delta_tx_bytes": 499720016,
"baseline_rss_bytes": 219865088,
"delta_rx_bytes": 499450818,
"delta_tx_bytes": 499682679,
"baseline_rss_bytes": 260186112,
"peak_memory_bytes": {
"rss": 256589824,
"heap_used": 50949776,
"external": 78382688,
"array_buffers": 74585512
"rss": 270147584,
"heap_used": 50815808,
"external": 74823876,
"array_buffers": 71026869
},
"delta_rss_bytes": 36724736,
"delta_rss_bytes": 9961472,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 752.4353919999558,
"attachments.decode.ms": 747.5779010000988,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
@@ -53,59 +56,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 499402749,
"delta_tx_bytes": 499684515,
"baseline_rss_bytes": 205688832,
"delta_rx_bytes": 499478040,
"delta_tx_bytes": 499706687,
"baseline_rss_bytes": 233414656,
"peak_memory_bytes": {
"rss": 253865984,
"heap_used": 50007064,
"external": 77441306,
"array_buffers": 73644321
"rss": 272007168,
"heap_used": 51073272,
"external": 81928377,
"array_buffers": 78003733
},
"delta_rss_bytes": 48177152,
"delta_rss_bytes": 38592512,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 689.5382070000051,
"attachments.decode.ms": 729.9557609999902,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
}
}
],
"total_delta_rx_bytes": 998833811,
"total_delta_tx_bytes": 999404531,
"rx_bytes_per_upload": 9988338,
"tx_bytes_per_upload": 9994045,
"max_delta_rss_bytes": 48177152
"total_delta_rx_bytes": 998928858,
"total_delta_tx_bytes": 999389366,
"rx_bytes_per_upload": 9989289,
"tx_bytes_per_upload": 9993894,
"max_delta_rss_bytes": 38592512
},
{
"uploads": 100,
"succeeded": 100,
"failed": 0,
"duration_s": 5.595,
"outcomes": {
"ok": 100
},
"duration_s": 5.959,
"latency_ms": {
"p50": 416.1,
"p95": 850.5,
"p99": 1043.3
"p50": 433.3,
"p95": 826.3,
"p99": 1157.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 499433153,
"delta_tx_bytes": 499703916,
"baseline_rss_bytes": 232402944,
"delta_rx_bytes": 499374042,
"delta_tx_bytes": 499651950,
"baseline_rss_bytes": 270147584,
"peak_memory_bytes": {
"rss": 259272704,
"heap_used": 51280096,
"external": 72760119,
"array_buffers": 68966438
"rss": 272506880,
"heap_used": 51829328,
"external": 83084989,
"array_buffers": 79288011
},
"delta_rss_bytes": 26869760,
"delta_rss_bytes": 2359296,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 696.6430249999976,
"attachments.decode.ms": 779.4219730002806,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
@@ -113,59 +119,62 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 499356462,
"delta_tx_bytes": 499635353,
"baseline_rss_bytes": 218791936,
"delta_rx_bytes": 499493122,
"delta_tx_bytes": 499744106,
"baseline_rss_bytes": 223895552,
"peak_memory_bytes": {
"rss": 269750272,
"heap_used": 50527976,
"external": 84610578,
"array_buffers": 80809839
"rss": 268492800,
"heap_used": 51545968,
"external": 74440258,
"array_buffers": 70643266
},
"delta_rss_bytes": 50958336,
"delta_rss_bytes": 44597248,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 679.306210000097,
"attachments.decode.ms": 863.9362580000306,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
}
}
],
"total_delta_rx_bytes": 998789615,
"total_delta_tx_bytes": 999339269,
"rx_bytes_per_upload": 9987896,
"tx_bytes_per_upload": 9993393,
"max_delta_rss_bytes": 50958336
"total_delta_rx_bytes": 998867164,
"total_delta_tx_bytes": 999396056,
"rx_bytes_per_upload": 9988672,
"tx_bytes_per_upload": 9993961,
"max_delta_rss_bytes": 44597248
},
{
"uploads": 100,
"succeeded": 100,
"failed": 0,
"duration_s": 5.614,
"outcomes": {
"ok": 100
},
"duration_s": 5.867,
"latency_ms": {
"p50": 428.0,
"p95": 804.7,
"p99": 1004.9
"p50": 425.4,
"p95": 748.6,
"p99": 899.5
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 499425024,
"delta_tx_bytes": 499698391,
"baseline_rss_bytes": 229511168,
"delta_rx_bytes": 499413858,
"delta_tx_bytes": 499718735,
"baseline_rss_bytes": 272506880,
"peak_memory_bytes": {
"rss": 276029440,
"heap_used": 50966520,
"external": 81342826,
"array_buffers": 77549156
"rss": 282468352,
"heap_used": 51214136,
"external": 94183394,
"array_buffers": 90388084
},
"delta_rss_bytes": 46518272,
"delta_rss_bytes": 9961472,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 690.9916989999474,
"attachments.decode.ms": 737.3356790000107,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
@@ -173,31 +182,31 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 499340690,
"delta_tx_bytes": 499623342,
"baseline_rss_bytes": 209854464,
"delta_rx_bytes": 499436776,
"delta_tx_bytes": 499691520,
"baseline_rss_bytes": 224206848,
"peak_memory_bytes": {
"rss": 269647872,
"heap_used": 50830664,
"external": 84194138,
"array_buffers": 71282017
"rss": 287236096,
"heap_used": 51412744,
"external": 94514510,
"array_buffers": 90719177
},
"delta_rss_bytes": 59793408,
"delta_rss_bytes": 63029248,
"counters": {
"attachments.insert_pending": 50,
"attachments.proxy.bytes_in": 498073600,
"attachments.decode.ms": 772.5123690000619,
"attachments.decode.ms": 632.1155839997809,
"attachments.proxy.bytes_to_s3": 498073600,
"attachments.mark_ready": 50,
"attachments.upload.created": 50
}
}
],
"total_delta_rx_bytes": 998765714,
"total_delta_tx_bytes": 999321733,
"rx_bytes_per_upload": 9987657,
"tx_bytes_per_upload": 9993217,
"max_delta_rss_bytes": 59793408
"total_delta_rx_bytes": 998850634,
"total_delta_tx_bytes": 999410255,
"rx_bytes_per_upload": 9988506,
"tx_bytes_per_upload": 9994103,
"max_delta_rss_bytes": 63029248
}
]
}
+129 -120
View File
@@ -1,6 +1,6 @@
{
"date": "2026-10-23T14:16:28+00:00",
"git": "4b53e03",
"date": "2026-10-23T14:21:43+00:00",
"git": "9caa031",
"params": {
"mode": "proxy",
"size_bytes": 10485760,
@@ -8,7 +8,7 @@
"uploads_per_worker": 2,
"repeat": 3,
"users": 32,
"image": "tmp.n0I8NPEIWj.png"
"image": "worst-40mp-rgba16-adam7.png"
},
"host": {
"nproc": 8,
@@ -23,91 +23,33 @@
"uploads": 64,
"succeeded": 63,
"failed": 1,
"duration_s": 25.819,
"outcomes": {
"ok": 63,
"upload:429": 1
},
"duration_s": 26.314,
"latency_ms": {
"p50": 11818.4,
"p95": 12931.4,
"p99": 13553.9
"p50": 11982.1,
"p95": 13221.2,
"p99": 13881.3
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 337133327,
"delta_tx_bytes": 326730589,
"baseline_rss_bytes": 242167808,
"delta_rx_bytes": 337116624,
"delta_tx_bytes": 326709435,
"baseline_rss_bytes": 280637440,
"peak_memory_bytes": {
"rss": 764227584,
"heap_used": 53277928,
"external": 205747809,
"array_buffers": 201957465
"rss": 794800128,
"heap_used": 52577168,
"external": 200629533,
"array_buffers": 196839189
},
"delta_rss_bytes": 522059776,
"delta_rss_bytes": 514162688,
"counters": {
"attachments.insert_pending": 31,
"attachments.proxy.bytes_in": 325058560,
"attachments.decode.ms": 25036.73668600002,
"attachments.proxy.bytes_to_s3": 325058560,
"attachments.mark_ready": 31,
"attachments.upload.created": 31,
"attachments.claim_expired": 1
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 337211779,
"delta_tx_bytes": 337283965,
"baseline_rss_bytes": 228610048,
"peak_memory_bytes": {
"rss": 778199040,
"heap_used": 51989272,
"external": 236791924,
"array_buffers": 233001507
},
"delta_rss_bytes": 549588992,
"counters": {
"attachments.insert_pending": 32,
"attachments.proxy.bytes_in": 335544320,
"attachments.decode.ms": 25586.631086000038,
"attachments.proxy.bytes_to_s3": 335544320,
"attachments.mark_ready": 32,
"attachments.upload.created": 32,
"attachments.claim_expired": 1
}
}
],
"total_delta_rx_bytes": 674345106,
"total_delta_tx_bytes": 664014554,
"rx_bytes_per_upload": 10536642,
"tx_bytes_per_upload": 10375227,
"max_delta_rss_bytes": 549588992
},
{
"uploads": 64,
"succeeded": 63,
"failed": 1,
"duration_s": 25.757,
"latency_ms": {
"p50": 11572.1,
"p95": 12715.5,
"p99": 13392.7
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 334592209,
"delta_tx_bytes": 326276198,
"baseline_rss_bytes": 398258176,
"peak_memory_bytes": {
"rss": 783015936,
"heap_used": 55518080,
"external": 207730225,
"array_buffers": 203939881
},
"delta_rss_bytes": 384757760,
"counters": {
"attachments.insert_pending": 31,
"attachments.proxy.bytes_in": 325058560,
"attachments.decode.ms": 24831.425972000143,
"attachments.decode.ms": 25555.52753299987,
"attachments.proxy.bytes_to_s3": 325058560,
"attachments.mark_ready": 31,
"attachments.upload.created": 31
@@ -115,81 +57,148 @@
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336487647,
"delta_tx_bytes": 336637754,
"baseline_rss_bytes": 402874368,
"delta_rx_bytes": 337265287,
"delta_tx_bytes": 337358402,
"baseline_rss_bytes": 243548160,
"peak_memory_bytes": {
"rss": 798023680,
"heap_used": 53729504,
"external": 238180613,
"array_buffers": 234390237
"rss": 810434560,
"heap_used": 53145984,
"external": 236705259,
"array_buffers": 220341467
},
"delta_rss_bytes": 395149312,
"delta_rss_bytes": 566886400,
"counters": {
"attachments.insert_pending": 32,
"attachments.proxy.bytes_in": 335544320,
"attachments.decode.ms": 25634.232347999874,
"attachments.decode.ms": 26139.059334000223,
"attachments.proxy.bytes_to_s3": 335544320,
"attachments.mark_ready": 32,
"attachments.upload.created": 32
}
}
],
"total_delta_rx_bytes": 671079856,
"total_delta_tx_bytes": 662913952,
"rx_bytes_per_upload": 10485623,
"tx_bytes_per_upload": 10358030,
"max_delta_rss_bytes": 395149312
"total_delta_rx_bytes": 674381911,
"total_delta_tx_bytes": 664067837,
"rx_bytes_per_upload": 10537217,
"tx_bytes_per_upload": 10376060,
"max_delta_rss_bytes": 566886400
},
{
"uploads": 64,
"succeeded": 63,
"failed": 1,
"duration_s": 25.464,
"outcomes": {
"ok": 63,
"upload:429": 1
},
"duration_s": 26.067,
"latency_ms": {
"p50": 11705.5,
"p95": 12780.4,
"p99": 13430.4
"p50": 11840.4,
"p95": 12960.2,
"p99": 13468.5
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 336576208,
"delta_tx_bytes": 326212836,
"baseline_rss_bytes": 429645824,
"delta_rx_bytes": 336715328,
"delta_tx_bytes": 326375446,
"baseline_rss_bytes": 440582144,
"peak_memory_bytes": {
"rss": 788910080,
"heap_used": 51970176,
"external": 237910954,
"array_buffers": 234120537
"rss": 792059904,
"heap_used": 56538592,
"external": 222265987,
"array_buffers": 218475643
},
"delta_rss_bytes": 359264256,
"delta_rss_bytes": 351477760,
"counters": {
"attachments.insert_pending": 31,
"attachments.proxy.bytes_in": 325058560,
"attachments.decode.ms": 24706.14007100009,
"attachments.decode.ms": 25179.0629260001,
"attachments.proxy.bytes_to_s3": 325058560,
"attachments.mark_ready": 31,
"attachments.upload.created": 31,
"attachments.upload.created": 31
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336711646,
"delta_tx_bytes": 336796533,
"baseline_rss_bytes": 456798208,
"peak_memory_bytes": {
"rss": 804114432,
"heap_used": 56361496,
"external": 227834931,
"array_buffers": 224044587
},
"delta_rss_bytes": 347316224,
"counters": {
"attachments.insert_pending": 32,
"attachments.proxy.bytes_in": 335544320,
"attachments.decode.ms": 25936.202234999975,
"attachments.proxy.bytes_to_s3": 335544320,
"attachments.mark_ready": 32,
"attachments.upload.created": 32
}
}
],
"total_delta_rx_bytes": 673426974,
"total_delta_tx_bytes": 663171979,
"rx_bytes_per_upload": 10522296,
"tx_bytes_per_upload": 10362062,
"max_delta_rss_bytes": 351477760
},
{
"uploads": 64,
"succeeded": 64,
"failed": 0,
"outcomes": {
"ok": 64
},
"duration_s": 26.191,
"latency_ms": {
"p50": 12369.3,
"p95": 13068.5,
"p99": 13838.5
},
"replicas": [
{
"instance_id": "90e2e1d73b23",
"delta_rx_bytes": 336907021,
"delta_tx_bytes": 336990630,
"baseline_rss_bytes": 438906880,
"peak_memory_bytes": {
"rss": 812994560,
"heap_used": 53308256,
"external": 217363492,
"array_buffers": 213573148
},
"delta_rss_bytes": 374087680,
"counters": {
"attachments.insert_pending": 32,
"attachments.proxy.bytes_in": 335544320,
"attachments.decode.ms": 25964.192683000234,
"attachments.proxy.bytes_to_s3": 335544320,
"attachments.mark_ready": 32,
"attachments.upload.created": 32,
"attachments.claim_expired": 1
}
},
{
"instance_id": "9bb9a19b4693",
"delta_rx_bytes": 336605411,
"delta_tx_bytes": 336677870,
"baseline_rss_bytes": 444702720,
"delta_rx_bytes": 336764548,
"delta_tx_bytes": 336853328,
"baseline_rss_bytes": 451035136,
"peak_memory_bytes": {
"rss": 810758144,
"heap_used": 54356496,
"external": 217451321,
"array_buffers": 213660977
"rss": 822910976,
"heap_used": 51718280,
"external": 238155032,
"array_buffers": 234364688
},
"delta_rss_bytes": 366055424,
"delta_rss_bytes": 371875840,
"counters": {
"attachments.insert_pending": 32,
"attachments.proxy.bytes_in": 335544320,
"attachments.decode.ms": 25312.452498999774,
"attachments.decode.ms": 25902.83660300006,
"attachments.proxy.bytes_to_s3": 335544320,
"attachments.mark_ready": 32,
"attachments.upload.created": 32,
@@ -197,11 +206,11 @@
}
}
],
"total_delta_rx_bytes": 673181619,
"total_delta_tx_bytes": 662890706,
"rx_bytes_per_upload": 10518463,
"tx_bytes_per_upload": 10357667,
"max_delta_rss_bytes": 366055424
"total_delta_rx_bytes": 673671569,
"total_delta_tx_bytes": 673843958,
"rx_bytes_per_upload": 10526118,
"tx_bytes_per_upload": 10528812,
"max_delta_rss_bytes": 374087680
}
]
}
+3 -3
View File
@@ -1,9 +1,9 @@
scripts/lab4/consistency_check.sh
bucket: messenger-attachments
objects: 5066
objects: 8398
rows by status:
11 pending
5065 ready
84 pending
8324 ready
4 rejected
orphans: 0
missing: 0
+7 -7
View File
@@ -1,11 +1,11 @@
# attachment download survives the stop of either replica (sha256 of sample.png: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75)
# commit 9caa031; attachment download survives the stop of either replica (sha256 of sample.png: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75)
stopped mtusi-lab4-api-1
GET content -> HTTP/1.1 200 OK x-instance-id: fc61f806b880 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: fc61f806b880 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: fc61f806b880 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 9bb9a19b4693 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 9bb9a19b4693 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 9bb9a19b4693 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
stopped mtusi-lab4-api-2
GET content -> HTTP/1.1 200 OK x-instance-id: b50bb8514a7b sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: b50bb8514a7b sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: b50bb8514a7b sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 90e2e1d73b23 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 90e2e1d73b23 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
GET content -> HTTP/1.1 200 OK x-instance-id: 90e2e1d73b23 sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
mtusi-lab4-api-1 Up 14 seconds (healthy)
mtusi-lab4-api-2 Up 5 seconds (healthy)
+9 -17
View File
@@ -1,21 +1,13 @@
# commit 9caa031
# failover round 1
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 140, "failed_attempts": 0, "first_recovery_seconds": 3.331}
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 0, "first_recovery_seconds": 3.184}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
api mtusi-lab4-api-1 Up 26 seconds (healthy)
Container mtusi-lab4-api-1 Running
mtusi-lab4-api-1 Exited (0) 12 seconds ago
mtusi-lab4-api-2 Up 31 seconds (healthy)
# failover round 2
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 134, "failed_attempts": 0, "first_recovery_seconds": 3.359}
{"observed_instances_before": 2, "successful_writes": 141, "failed_attempts": 0, "first_recovery_seconds": 3.249}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
mtusi-lab4-api-1 Up 50 seconds (healthy)
mtusi-lab4-api-2 Exited (0) 12 seconds ago
# failover round 3
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 134, "failed_attempts": 0, "first_recovery_seconds": 3.328}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
mtusi-lab4-api-1 Up About a minute (healthy)
mtusi-lab4-api-2 Exited (0) 12 seconds ago
mtusi-lab4-api-1 Up About a minute (healthy)
mtusi-lab4-api-2 Up 5 seconds (healthy)
mtusi-lab4-api-1 Exited (0) 12 seconds ago
mtusi-lab4-api-2 Up 53 seconds (healthy)
mtusi-lab4-api-1 Up 5 seconds (healthy)
mtusi-lab4-api-2 Up 58 seconds (healthy)
+13 -24
View File
@@ -1,29 +1,18 @@
# commit 9caa031
# before
api Up 19 seconds (healthy)
api Up 19 seconds (healthy)
haproxy Up 11 minutes
postgres Up 2 minutes (healthy)
redis Up 3 minutes (healthy)
s3 Up 3 minutes (healthy)
/mtusi-lab4-postgres-1 2026-10-22T19:38:19.352217508Z
/mtusi-lab4-redis-1 2026-10-22T19:37:15.343086395Z
/mtusi-lab4-s3-1 2026-10-22T19:37:46.289807129Z
/mtusi-lab4-api-1 2026-10-22T19:40:39.879853813Z
/mtusi-lab4-api-2 2026-10-22T19:40:39.774525559Z
/mtusi-lab4-haproxy-1 2026-10-22T19:29:53.978761189Z
/mtusi-lab4-postgres-1 2026-10-23T14:13:29.263262079Z
/mtusi-lab4-redis-1 2026-10-23T14:11:34.042926489Z
/mtusi-lab4-s3-1 2026-10-23T14:12:05.200412031Z
/mtusi-lab4-api-1 2026-10-23T14:11:19.011665615Z
/mtusi-lab4-api-2 2026-10-23T14:11:19.118116521Z
/mtusi-lab4-haproxy-1 2026-10-22T19:41:00.434084255Z
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# after
api Up 6 seconds (healthy)
api Up 6 seconds (healthy)
haproxy Up 9 seconds
postgres Up 9 seconds (healthy)
redis Up 9 seconds (healthy)
s3 Up 9 seconds (healthy)
/mtusi-lab4-postgres-1 2026-10-22T19:41:00.616425802Z
/mtusi-lab4-redis-1 2026-10-22T19:41:00.545701172Z
/mtusi-lab4-s3-1 2026-10-22T19:41:00.507714044Z
/mtusi-lab4-api-1 2026-10-22T19:41:03.631509569Z
/mtusi-lab4-api-2 2026-10-22T19:41:03.665389961Z
/mtusi-lab4-haproxy-1 2026-10-22T19:41:00.434084255Z
/mtusi-lab4-postgres-1 2026-10-23T14:23:26.500579665Z
/mtusi-lab4-redis-1 2026-10-23T14:23:26.233233745Z
/mtusi-lab4-s3-1 2026-10-23T14:23:26.420908434Z
/mtusi-lab4-api-1 2026-10-23T14:23:29.194759152Z
/mtusi-lab4-api-2 2026-10-23T14:23:29.224476065Z
/mtusi-lab4-haproxy-1 2026-10-23T14:23:26.32966444Z
+11 -11
View File
@@ -1,11 +1,11 @@
| mode | size, MiB | C | ok | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | peak RSS, MiB | p50, ms | p95, ms |
|---|---|---|---|---|---|---|---|---|---|
| direct | 0.12 | 10 | 150/150 | 0.13 | 0.01 | 2.00 | 158.24 | 45 | 70 |
| proxy | 0.12 | 10 | 150/150 | 0.13 | 0.13 | 6.38 | 149.36 | 28 | 49 |
| direct | 1.00 | 10 | 150/150 | 1.01 | 0.01 | 16.06 | 199.36 | 76 | 104 |
| proxy | 1.00 | 10 | 150/150 | 1.01 | 1.01 | 8.75 | 183.10 | 56 | 100 |
| direct | 9.50 | 10 | 150/150 | 9.52 | 0.01 | 88.92 | 286.69 | 425 | 615 |
| proxy | 9.50 | 10 | 150/150 | 9.52 | 9.53 | 38.04 | 236.28 | 232 | 430 |
| proxy | 9.50 | 20 | 300/300 | 9.53 | 9.53 | 48.60 | 263.24 | 416 | 805 |
| direct (tmp.n0I8NPEIWj.png) | 10.00 | 32 | 144/192 | 7.52 | 0.01 | 366.84 | 787.07 | 10903 | 13413 |
| proxy (tmp.n0I8NPEIWj.png) | 10.00 | 32 | 189/192 | 10.03 | 9.88 | 376.84 | 773.20 | 11706 | 12780 |
| mode | size, MiB | C | ok | failures | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | peak RSS, MiB | p50, ms | p95, ms |
|---|---|---|---|---|---|---|---|---|---|---|
| direct | 0.12 | 10 | 150/150 | — | 0.13 | 0.01 | 0.38 | 394.39 | 40 | 71 |
| proxy | 0.12 | 10 | 150/150 | — | 0.13 | 0.13 | 0.00 | 446.99 | 26 | 46 |
| direct | 1.00 | 10 | 150/150 | — | 1.01 | 0.01 | 0.00 | 244.16 | 71 | 107 |
| proxy | 1.00 | 10 | 150/150 | — | 1.01 | 1.01 | 0.12 | 394.70 | 50 | 82 |
| direct | 9.50 | 10 | 150/150 | — | 9.52 | 0.01 | 67.06 | 344.15 | 448 | 672 |
| proxy | 9.50 | 10 | 150/150 | — | 9.52 | 9.53 | 20.31 | 272.98 | 245 | 399 |
| proxy | 9.50 | 20 | 300/300 | — | 9.53 | 9.53 | 42.53 | 273.93 | 433 | 781 |
| direct (worst-40mp-rgba16-adam7.png) | 10.00 | 32 | 167/192 | complete:429×25 | 9.24 | 0.01 | 366.88 | 790.94 | 11067 | 13423 |
| proxy (worst-40mp-rgba16-adam7.png) | 10.00 | 32 | 190/192 | upload:429×2 | 10.04 | 9.90 | 356.76 | 784.79 | 11982 | 13068 |