42 KiB
Отчёт — лабораторная 4
- Автор, группа: Илья Тюнин; группа — БВТ2303
- Целевая оценка: 5, трек 1 «Прямой upload» (presigned PUT)
- Commit/PR: ветка
lab4, коммиты с префиксомlab4:(стенд MinIO; конфигурация иObjectStorage; схема и потоковый валидатор; вложения иattachment_ids; e2e и отказы; прямая загрузка, скрипты экспериментов). PR — после пуша ветки в origin. - Источники, библиотеки и помощь ИИ: контракт
contracts/openapi.json,contracts/README.md; AWS S3 User Guide (object uploads, presigned URLs, checksums); документация MinIO (mc, политики,MINIO_*_FILE); AWS SDK for JavaScript v3 (@aws-sdk/client-s33.1156.0,s3-request-presigner,@smithy/node-http-handler); спецификации PNG (RFC 2083 / W3C) и JPEG (ITU-T T.81) для потокового валидатора. Код и эксперименты подготовлены с помощью ИИ-ассистента; все числа ниже получены прогонами на описанном стенде и лежат вevidence/lab4/.
Запуск из чистого clone
Версии: Docker 29.9.1, Docker Compose v5.6.0, Node.js 25.7.0 (сборка API — образ node:25.7.0-slim),
Python 3.14 (проверки и харнесс; нужен ≥3.9). Образы закреплены по digest:
minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493…8936e,
minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349e…1727, postgres:16.4-alpine,
redis:7.4.2-alpine, haproxy:3.2-alpine. Хост — Fedora, 8 логических CPU, 16 GiB RAM.
git clone <origin> lab4 && cd lab4
make init-env # создаёт .env (пароль PG, METRICS_TOKEN) и secrets/* (root и API-credentials MinIO); идемпотентно, значения не печатает
make stand-up # docker compose up -d --build --wait: postgres, redis, s3, s3-init, migrate, api x2, haproxy
make wait-ready # GET /health/ready через LB
make test # публичный smoke (через LB)
make check # оффлайн-проверка структуры контракта
make test-e2e # black-box набор: app / attachments / direct-upload (нужны loopback-порты PG, Redis, MinIO)
make test-dependencies # отказы Redis/PG/S3 (останавливают контейнеры стенда и возвращают их)
make s3-security # приватность bucket и права API-credentials вне API
make consistency # сверка bucket и БД (orphans / missing)
make bench # матрица экспериментов, пишет evidence/lab4/bench/*.json и summary.md
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
Действия оператора: только make init-env (секреты создаются локально в secrets/, каталог в
.gitignore; secrets/ и .env нельзя коммитить). Остановка с сохранением данных — make stand-down
(тома postgres-data, redis-data, s3-data сохраняются). Намеренное удаление учебных данных:
docker compose --env-file .env down -v (удаляет все три тома, включая загруженные файлы; следующий
make stand-up создаёт пустую схему и заново идемпотентно настраивает bucket).
Короткий TTL для проверки истёкшего URL: DIRECT_UPLOAD_URL_TTL_SECONDS=5 ATTACHMENT_SWEEP_GRACE_SECONDS=0 ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps api, затем
E2E_DIRECT_TTL_SHORT=1 scripts/app-e2e.sh direct-upload, затем вернуть стенд тем же up -d --no-deps api
без переменных.
Архитектура и решения
клиент ──► HAProxy ──► API × 2 ──► PostgreSQL (метаданные, связи, идемпотентность)
│ ├──► Redis (сессии, кэш истории)
│ └──► MinIO (s3) (байты оригиналов, приватный bucket)
клиент ───────────── presigned PUT (трек 1) ───► MinIO (минуя API)
-
Источник истины: метаданные и связи «сообщение ↔ вложение» — PostgreSQL (
attachments,message_attachments); байты — только в bucket по ключуattachments/<uuid>/original. Имя файла хранится для отображения и никогда не попадает в ключ или путь. На API нет локального файла оригинала: корневая ФС контейнераread_only: true,/tmp— tmpfs 16 MiB (evidence/lab4/readonly-api.txt). -
Жизненный цикл строки:
pending(байты не подтверждены) →ready(видна участникам чата), либоdeleting(захвачена компенсацией или уборщиком) → строка удалена, либо (direct)rejected(проверка не пройдена, URL ещё может действовать) → уборщик. Публично существуют толькоready. Инварианты в БД: составные FK(chat_id, owner_id) → chat_membersи(attachment_id, chat_id) → attachments(id, chat_id)делают «вложение другого чата» невозможным;CHECKтребует size/sha256/width/height уreadyиexpires_atу незавершённых; FKmessage_attachments → attachmentsбез каскада запрещает удалить вложение, на которое ссылается сообщение, а каскад удаления чата проходит. -
Когда честно 201 (proxy): только после того, как S3 принял весь объект (
PutObjectзавершён) иUPDATE … SET status='ready' WHERE status='pending'изменил строку. ЭтотUPDATEпроигрывает захвату уборщиком атомарно (строка ужеdeleting→ 503, а не фальшивый 201). -
S3 PUT прошёл, а COMMIT нет — и как не потерять оригинал. Ошибка
markReadyна стороне API не означает, что COMMIT не прошёл: соединение может оборваться после фиксации, и тогда строка ужеready. Поэтому компенсация сначала захватывает строку (UPDATE … SET status='deleting' WHERE id=$1 AND status='pending') и удаляет объект только после успешного захвата, затем удаляет строку:- захват не сработал (строка уже не
pending) — объект не трогается; если строкаready, API отвечает 201 с этим вложением (attachments.upload.recovered): COMMIT был, это правда; - PostgreSQL недоступен — ничего не удаляется (
attachments.compensation_deferred): по строкеpendingобъект найдёт уборщик черезexpires_at + ATTACHMENT_SWEEP_GRACE_SECONDS, и он тоже сначала захватывает строку; - S3 недоступен после захвата — строка остаётся
deletingи перезахватывается уборщиком через минуту.
Так «объект без строки» не возникает ни при каком сбое, а
readyбез объекта — только при внешнем удалении из bucket. Первая версия удаляла объект до строки и теряла оригинал при потерянном ответе COMMIT; регрессия —attachments.service.spec.ts(unit, мок «COMMIT прошёл, ответ потерян»), а fault-тестdependency-failures«keeps the object while PostgreSQL is down before ready» проверяет, что при остановленном PG объект сохраняется до уборки. - захват не сработал (строка уже не
-
Proxy: потоковая передача + полная проверка изображения. Тело читается как поток и сразу идёт в S3 с заранее известным
Content-Length(≤ 10 MiB, иначе 413 до чтения). Проверка в два слоя:ImageInspector— байтовый автомат PNG/JPEG без буферизации: сигнатура, структура, CRC чанков PNG, тип по содержимому и число пикселей (≤ 40 млн → 413) по IHDR/SOF. До появления заголовка (≤ 1 MiB) нет ни строки, ни объекта; pixel bomb отвергается до любого декодирования.ImageDecoder— полный декод всех пикселей libvips (sharp 0.35,failOn: 'warning',limitInputPixels). Структуры и CRC недостаточно: PNG с мусорным zlib-потоком (верные CRC) и JPEG без данных скана проходят первый слой — их ловит только декод (первая версия возвращала на них 201). Декод ограниченIMAGE_DECODE_MAX_CONCURRENT(очередь), libvips — один поток, без кэша.
Последний кусок отдаётся в S3 только после обоих слоёв — S3 не получает полное тело невалидного файла и не фиксирует объект. Цена: на время загрузки API держит копию тела (≤ 10 MiB) для декода (libvips не принимает поток), плюс память декода (≈117–131 MiB на изображение 40 млн пикселей,
evidence/lab4/decode-memory.txt). Верхняя граница на реплику:UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × 131 MiB= 16 × 10 + 2 × 131 ≈ 422 MiB при лимите контейнера 768 MiB. Остальные ограничители:UPLOAD_MAX_IN_FLIGHT(429 +Retry-After, общий для proxy и direct complete),UPLOAD_TIMEOUT_MS, тайм-ауты S3-клиента. FastifybodyLimitкimage/*не применяется: контент-парсеры отдают сырой поток только маршруту загрузки (дляtext/plainна нём встроенный буферизующий парсер заменён — иначе бинарное тело давало 400; на остальных маршрутахimage/*→ 415,text/plainбуферизуется как прежде). -
Прямая загрузка (трек 1):
POST /api/v1/chats/{id}/attachments/direct-uploadsсоздаёт строкуpending(expires_at = now + TTL) и возвращает presigned PUT. Подписаныcontent-type,content-lengthиx-amz-checksum-sha256: S3 сам отвергает тело другого размера (403SignatureDoesNotMatch) или с другим SHA-256 (400XAmzContentChecksumMismatch), объект при этом не создаётся (evidence/lab4/presign-spike.txt).POST /api/v1/attachments/{id}/complete(только владелец):HEAD(размер + подписанный checksum), затем объект читается целиком и проходит те же два слоя, что и proxy (инспектор + полный декод), сверка типа и пикселей,markReady. Подписанный checksum доказывает лишь, что байты те, что заявил клиент, а не что это изображение: первая версия читала только начало и принимала усечённый PNG и файл, повреждённый после первых 64 KiB (оба с верным checksum). Цена — входящий трафик API = size наcomplete(см. H2). Несоответствие (размер/checksum/тип/пиксели) → 409/413/415, объект удаляется, а строка получает статусrejectedи сохраняетexpires_at: подписанный URL ещё может быть использован, и повторный PUT оставил бы объект без строки; уборщик удаляетrejectedпослеexpires_at+ grace, пока же строка занимает слот лимита, а повторныйcompleteдаёт 404. «Upload has not been received» (409) строку не трогает — клиент может доотправить. Повторныйcompleteготового — 200. Лимит незавершённых заявок на пользователя:DIRECT_UPLOAD_MAX_PENDING_PER_USER(429 сRetry-After). Перезапись по тому же URL до истечения TTL возможна только теми же байтами (checksum подписан). Расширение контракта:contracts/extensions.openapi.json; обязательный proxy endpoint не менялся. -
Почему volume реплики ≠ объектное хранилище: файл в volume одной реплики недоступен другой, теряется при пересоздании контейнера и не масштабируется; здесь байты лежат в общем MinIO со своим томом, поэтому download через любую реплику возвращает тот же объект (
evidence/lab4/failover-attachment.txt). -
Почему случайный ключ и приватный bucket не заменяют ACL приложения: ключ — не секрет (он может утечь через логи, presigned URL, дамп БД), а bucket приватен для всех, кроме API. Решение «кто из пользователей видит вложение» принимает только приложение: каждый запрос метаданных и content проверяет членство в чате (
findVisible), посторонний получает 404; у bucket нет понятия «участник чата». -
Недоступность S3 — деградация, не отказ готовности: S3 не входит в
/health/ready; вложения отвечают bounded503 unavailable, а текст, чаты, история, метаданные продолжают работать. Так реплики не уходят из ротации LB из-за зависимости, нужной лишь части функций. -
Секреты:
secrets/*монтируются как Docker secrets; MinIO читает root черезMINIO_ROOT_USER_FILE/MINIO_ROOT_PASSWORD_FILE, API — черезS3_*_FILE. У API отдельный пользователь с политикойmessenger-api:Get/Put/DeleteObjectтолько наattachments/*иListBucket(чтобы отсутствующий ключ давал 404, а не 403).migrateS3-секретов не получает (parseDatabaseConfig). Консоль MinIO отключена (MINIO_BROWSER=off), порт 9001 не публикуется, порт API S39000опубликован только на loopback (S3_PUBLIC_BIND=127.0.0.1) — нужен клиенту presigned URL и тестам.
Что перенесено из lab3: приложение NestJS/Fastify, HAProxy, Redis-сессии, идемпотентность, хуки.
Изменено: messages.attachment_ids (в CREATE_ONCE_SQL проверка и вставка ссылок в том же операторе,
что и сообщение и ключ идемпотентности; отпечаток текстовых сообщений совпадает с lab3), пустой
text допустим при наличии вложений, метрики (add, пики памяти с шагом 50 мс), заголовок
Retry-After у 429.
Соответствие .env.example → конфигурация
| Переменная | Где читается | Назначение |
|---|---|---|
S3_ENDPOINT, S3_PUBLIC_ENDPOINT |
ObjectStorage (клиент internal / клиент подписи) |
сетевой адрес для API / хост в presigned URL |
S3_REGION, S3_BUCKET |
ObjectStorage, infra/minio/bootstrap.sh |
регион подписи; имя bucket |
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE |
resolveSecret → S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY |
API-credentials из Docker secrets |
S3_CONNECT_TIMEOUT_MS, S3_REQUEST_TIMEOUT_MS |
NodeHttpHandler |
тайм-ауты S3-клиента |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
AttachmentsService, DirectUploadsService |
10 MiB, 40 млн пикселей |
UPLOAD_TIMEOUT_MS, UPLOAD_MAX_IN_FLIGHT |
AttachmentsService, UploadSlots |
дедлайн запроса; число одновременных proxy-загрузок и direct complete на реплику (16) |
IMAGE_DECODE_MAX_CONCURRENT |
ImageDecoder |
одновременные полные декоды на реплику (2) |
ATTACHMENT_SWEEP_INTERVAL_MS, ATTACHMENT_SWEEP_GRACE_SECONDS |
AttachmentSweeper, CLI |
период фонового прохода (0 = выкл.) и grace после expires_at |
DIRECT_UPLOAD_URL_TTL_SECONDS, DIRECT_UPLOAD_MAX_PENDING_PER_USER |
DirectUploadsService |
TTL подписи; лимит незавершённых заявок |
S3_PUBLIC_BIND, S3_PUBLIC_PORT, S3_CPUS, S3_MEMORY |
compose.yaml (сервис s3) |
публикация порта на loopback; лимиты контейнера |
minio_root_*, s3_api_* |
secrets/* → compose.yaml secrets |
credentials; создаются scripts/init-env.sh |
Остальные переменные (DATABASE_URL, REDIS_URL, METRICS_TOKEN, лимиты, порты) — как в lab3.
Компенсация, сверка, очистка (grace period)
expires_at у proxy = старт + UPLOAD_TIMEOUT_MS (жёсткий дедлайн запроса), у direct = выдача URL + TTL.
Уборщик берёт строки pending/rejected только через ATTACHMENT_SWEEP_GRACE_SECONDS (900 с по умолчанию) после этого:
живую загрузку он не застанет, а markReady … WHERE status='pending' проигрывает захвату
(pending → deleting, FOR UPDATE SKIP LOCKED, реплики не мешают друг другу). Застрявшая в
deleting строка (упавший уборщик или компенсация, которой не ответил S3) перезахватывается через
минуту — живая компенсация за это время либо завершается, либо уже не идёт. Ручной запуск:
docker compose exec api node dist/attachments/attachments-sweep.cli.js. Сверка в обе стороны (только
чтение): make consistency — orphans (объект без строки) и missing (ready без объекта).
Отсутствующий объект у ready-строки при download — это потеря данных: 500 и счётчик
attachments.object_missing, а не клиентская ошибка.
Доказательства критериев
Все файлы — в evidence/lab4/; в них нет .env, токенов, секретов и подписанных URL.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab4 public API scenario (upload 201 ready, сообщение с '' и attachment_ids, download bob = байты, eve 404) |
make-test.txt |
| Контракт offline | make check |
PASS, contracts/extensions.openapi.json — валидный JSON |
make-check.txt |
| 3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket | make stand-up; docker compose ps; make consistency |
s3 healthy, s3-init завершён с 0; bucket приватный (mc anonymous set none); после серий make bench, e2e и fault-тестов: 5066 объектов на 5065 ready + 15 незавершённых строк (pending/rejected, ждут истечения + grace; одна из них — с объектом), orphans/missing = 0 |
bootstrap-rerun.txt, consistency.txt |
3: 201 ready, побайтный download, attachment_ids |
make test-e2e (attachments.e2e-spec.ts) |
sha256 в ответе = sha256 файла; content = байты, nosniff, Content-Length |
make-test-e2e.txt |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как image/jpeg → 415, a/b.png, \u202E, NUL, 256 символов → 400, 255×😀 → 201 |
кейсы перечислены в app/test/attachments.e2e-spec.ts (в evidence — итог: 38 passed, 8 skipped opt-in); raw image/text тело на JSON-маршрутах → 415/400, не 500 |
make-test-e2e.txt, unit-tests.txt (43 passed: image-inspector.spec.ts, image-decoder.spec.ts, attachments.service.spec.ts) |
| 3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные | scripts/stop-one.sh (обе реплики по очереди), make test-failover; make test-persistence ACTION_SCRIPT=scripts/restart.sh |
failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: StartedAt у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены |
failover.txt, failover-attachment.txt, persistence.txt |
| 3: на API нет локального файла оригинала | touch в корне контейнера |
Read-only file system |
readonly-api.txt |
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, вложение другого чата, нет 500 |
make test-e2e |
413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело, PNG с мусорным zlib-потоком при верных CRC, JPEG (baseline и прогрессивный) без данных скана → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 | make-test-e2e.txt |
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | e2e «client drops the connection»; make test-dependencies |
обрыв клиента → строк 0 за ≤10 с; S3 down → строка в deleting, после старта перезахвачена и убрана sweep; PG down между PUT и ready → 503, объект сохранён до уборки (строка pending его учитывает), после sweep нет ни объекта, ни строки; потерянный ответ COMMIT → объект не удаляется, 201 (unit attachments.service.spec.ts); затем orphans: 0, missing: 0 |
make-test-e2e.txt, make-test-dependencies.txt, consistency.txt |
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | make bench (proxy, C=10 и C=20, 9.5 MiB) |
медиана max Δrss реплики 43 MiB при C=10 и 50 MiB при C=20 (≈95/190 MiB тел в полёте), абсолютный пик RSS ≤ 391 MiB при лимите 768 MiB; граница по конфигурации ≈422 MiB сверх базового RSS; худший декод 40 млн px — 131 MiB — см. «Эксперименты» | summary.md, bench/*.json, decode-memory.txt |
| 4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API | docker compose run s3-init дважды; make s3-security |
повтор → bootstrap ok; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне attachments/, читают attachments/*; порт 9001 не опубликован и не отвечает |
bootstrap-rerun.txt, s3-security.txt |
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | direct-upload.e2e-spec.ts; спайк подписи |
init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; усечённый PNG и PNG, повреждённый после первых 64 KiB (оба с верным checksum) → 415, затем 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + Retry-After |
make-test-e2e.txt, presign-spike.txt |
| 5 / трек 1: истёкший URL и уборка | E2E_DIRECT_TTL_SHORT=1 на стенде с TTL 5 с |
PUT после expires_at → 403, строка убрана уборщиком, complete → 404 |
direct-ttl-short.txt |
| 5 / трек 1: сравнение трафика и RAM API на ≥2 размерах | make bench (0.125, 1, 9.5 MiB) |
см. таблицу ниже | summary.md, bench/*.json |
Оговорка по hook'ам: make test-persistence и make test-failover подтверждают сохранность данных и
сессии; какие процессы перезапущены, видно по StartedAt до/после (persistence.txt).
scripts/stop-one.sh останавливает только реплику, обслужившую сессию теста (в трёх прогонах
make test-failover это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно
failover-attachment.txt.
Эксперименты и отказы
Методика. Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка:
scripts/lab4/attachments_bench.py, closed-loop: C потоков × 5 загрузок несжимаемых PNG
(noise_png, разные seed — несжимаемые, поэтому декод не дешевле реальных фото), R = 3 повтора; один прогрев на конфигурацию (2 × число реплик загрузок,
не измеряется), перед каждым повтором — POST /internal/metrics/reset на каждой реплике. Трафик API — дельта eth0 rx/tx из /proc/net/dev
контейнера; RAM — пик process.memoryUsage().rss с шагом 50 мс минус RSS в момент reset (Δrss);
в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: make bench
(scripts/lab4/run_matrix.sh); raw — evidence/lab4/bench/*.json (без токенов и URL).
H1 (уровень 4). Память реплики при ≥ 10 параллельных загрузках ограничена сверху конфигурацией
(UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × ≈131 MiB ≈ 422 MiB) и не зависит от
числа клиентов сверх этого лимита. Исходная формулировка («Δrss почти не зависит от размера файла») для
текущей версии неверна по построению: ради полного декода API держит копию тела.
H2 (трек 1). Прямая загрузка снимает с API передачу байтов в S3 (tx) и не требует держать соединение
клиента на время заливки; входящий трафик API она не снижает, потому что complete читает объект
целиком для проверки; латентность direct выше из-за трёх round trip и повторного чтения.
Результаты (evidence/lab4/summary.md, коммит 4badd5a; 150 загрузок на строку при C=10, 300 при
C=20; ошибок 0):
| mode | size, MiB | C | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | p50, ms | p95, ms |
|---|---|---|---|---|---|---|---|
| direct | 0.12 | 10 | 0.13 | 0.01 | 5.25 | 72 | 120 |
| proxy | 0.12 | 10 | 0.13 | 0.13 | 3.00 | 57 | 87 |
| direct | 1.00 | 10 | 1.01 | 0.01 | 1.38 | 154 | 252 |
| proxy | 1.00 | 10 | 1.01 | 1.01 | 2.00 | 132 | 183 |
| direct | 9.50 | 10 | 9.52 | 0.01 | 83.62 | 755 | 1018 |
| proxy | 9.50 | 10 | 9.52 | 9.53 | 42.94 | 642 | 889 |
| proxy | 9.50 | 20 | 9.53 | 9.53 | 49.98 | 1336 | 1743 |
Выводы:
- H1 подтверждена. Рост памяти сверх базового RSS процесса (≈240–255 MiB после прогрева, включая
загруженный libvips): Δrss 26–57 MiB по повторам при proxy 9.5 MiB C=10 (медиана 43) и 28–121 MiB при
C=20 (медиана 50) — ниже границы ≈422 MiB и намного меньше ≈95/190 MiB тел в полёте на весь стенд.
Абсолютный пик RSS реплики — 311–391 MiB при лимите контейнера 768 MiB. Рост от размера файла есть
(0.12 и 1 MiB — 0.5–6 MiB, 9.5 MiB — десятки MiB): это копия тела для декода и сам декод (≈155 мс на
файл 9.5 MiB, счётчик
attachments.decode.ms). Худший допустимый декод (40 млн пикселей) — ≈131 MiB, измерен отдельно (decode-memory.txt) и в бенчмарк не входил. Δrss шумная (у одной конфигурации разброс до 4×), поэтому разница между C=10 и C=20 не интерпретируется. - H2 подтверждена в новой формулировке. API tx у direct ≈0.01 MiB против size у proxy (≈1000× для
9.5 MiB); API rx одинаков (≈size), потому что
completeчитает объект целиком. Ранняя версия, читавшая только начало объекта, давала rx ≈0.07 MiB, но принимала повреждённые изображения — этот выигрыш был ценой корректности и отозван. Δrss у direct 9.5 MiB выше, чем у proxy (84 против 43 MiB): объект читается из S3 быстрее, чем приходит от клиента, и больше копий одновременно ждут декода. Латентность direct выше на всех размерах (p50 72/154/755 против 57/132/642 мс): три запроса и повторное чтение объекта. Выигрыш direct в этой реализации — только снятие с API исходящего трафика в S3 и времени заливки клиентом; для полного выигрыша по rx проверку нужно вынести с API (асинхронный воркер рядом с хранилищем) — это следующий шаг, не реализован. - Сравнение с предыдущими прогонами (без полного декода, коммит
830e581): p50 proxy 9.5 MiB C=10 вырос с 239 до 642 мс, медиана Δrss — с 15.7 до 42.9 MiB. Это цена закрытия дыры в валидации.
Ограничения измерений. Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети;
/proc/net/dev реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку,
видно в tx у direct; метрики и конфигурация берутся прогонами docker exec, но их трафик в
измеряемое окно не входит, кроме двух чтений метрик); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные
латентности не переносимы.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
S3 остановлен (compose stop s3) |
вложения → bounded 503; текст, история, метаданные, /health/ready работают |
upload → 503 unavailable без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; строка неудачной загрузки в deleting (захвачена, удаление объекта не прошло) |
после start s3 и healthy download старого файла 200 с теми же байтами, новый upload 201; строка перезахвачена и убрана sweep через минуту; потерь нет |
PostgreSQL остановлен между S3 PUT и ready |
503; API не знает, прошёл ли COMMIT, — ничего не удаляет; объект учтён строкой | ответ 503; после старта PG строка pending, объект на месте (mc stat — есть); после expires_at sweep удалил объект и строку |
уборка через expires_at + grace; orphans: 0, missing: 0 |
COMMIT ready прошёл, ответ PostgreSQL потерян |
объект не удаляется, клиент получает 201 | unit attachments.service.spec.ts: захват строки не срабатывает, delete не вызывается, ответ 201 ready |
потерь нет (в стенде не воспроизводится без прокси, разрывающего соединение после COMMIT) |
| Обрыв клиента посреди загрузки (512 KiB из 2 MiB) | не остаётся ни строки, ни объекта | PUT прерывается (S3 put failed: AbortError в логе API, в evidence не сохранён) без ожидания тайм-аута, компенсация, строк в чате 0 |
≤10 с (предел ожидания теста; точное время не измерялось) |
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой X-Instance-Id для api-1 и api-2 |
≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140 |
Restart стенда (scripts/restart.sh) |
метаданные и оригиналы сохраняются, сессия жива | persistence PASS; StartedAt всех сервисов изменился |
потерь нет (время до готовности отдельно не измерялось) |
| Истёкший presigned URL | PUT отвергается, заявка убирается | PUT → 403; строка убрана уборщиком; complete → 404 | TTL (5 с в прогоне) + grace 0 + период уборщика 1 с |
| Подмена байтов / размера при прямой загрузке | S3 отвергает, объект не создаётся | 400 XAmzContentChecksumMismatch / 403 SignatureDoesNotMatch; complete → 409 |
заявка остаётся до TTL, клиент может доотправить |
Ограничения и следующие шаги
- MinIO: закреплён образ
RELEASE.2025-09-07T16-13-09Z; по данным, использованным при планировании, репозиторийminio/minioархивирован — новых образов и исправлений не будет (в этой сессии не перепроверялось). Для продакшена потребуется замена (SeaweedFS/RustFS) или форк. - Полная проверка изображения стоит памяти и времени: копия тела (≤ 10 MiB) на загрузку и декод
через libvips (нативная зависимость sharp, ≈131 MiB на худший вход).
failOn: 'warning'строже браузеров: файл с предупреждением libjpeg/libpng будет отвергнут (на 300 изображениях с хоста ложных отказов не было, но выборка не репрезентативна для фото с камер). Проверяются декодируемость и целостность, а не «безопасность для всех декодеров» — перекодирование в чистый формат не делается. - Direct не экономит входящий трафик API (см. H2); это следствие проверки на API. Следующий шаг —
асинхронная проверка воркером рядом с хранилищем (
status: processing), что требует расширения контракта. - Гонка лимита заявок:
countPendingDirectиinsertPendingне атомарны — параллельныеinitодного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято. - Загрузка, не доставленная до
ready, видна уборщику только через grace (по умолчанию 15 мин): до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения. - Компенсация при недоступной БД ничего не удаляет: объект остаётся до уборки
(
expires_at+ 900 с grace) — сознательный выбор: без БД нельзя отличить «COMMIT не прошёл» от «ответ потерян», а удаление в втором случае теряет оригинал. Объект без строки (например, строку удалили вручную) обнаружит толькоmake consistency— автоматического reconciler'а нет (это трек 2). - Потерянный COMMIT проверен только unit-тестом с моком репозитория: стенд не умеет разорвать соединение PostgreSQL ровно после COMMIT (для этого нужен прокси вроде toxiproxy).
- Таймаут загрузки уничтожает тело (и сокет) — клиент может получить обрыв соединения вместо ожидаемого 400 «Upload was interrupted»; строка и объект при этом компенсируются.
- TLS нет до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому
администрирование — только через
mcиз контейнера. - Не реализовано: варианты вложений (
variantsвсегда[];variant=thumbnail|crop|optimized→ 404), delete-API вложений, WebP. - Подтверждено измерением: память реплики ограничена конфигурацией и в эксперименте далеко от
лимита; direct снимает с API исходящий трафик в S3. Опровергнуто для текущей версии: снижение
входящего трафика API прямой загрузкой. Остаётся гипотезой: поведение памяти при C ≫ 20 (упор в
UPLOAD_MAX_IN_FLIGHT, 429) и на реальных фото, а не на шуме.