Files
mtusi2026lab4/REPORT.md
T

42 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Илья Тюнин; группа — БВТ2303
  • Целевая оценка: 5, трек 1 «Прямой upload» (presigned PUT)
  • Commit/PR: ветка lab4, коммиты с префиксом lab4: (стенд MinIO; конфигурация и ObjectStorage; схема и потоковый валидатор; вложения и attachment_ids; e2e и отказы; прямая загрузка, скрипты экспериментов). PR — после пуша ветки в origin.
  • Источники, библиотеки и помощь ИИ: контракт contracts/openapi.json, contracts/README.md; AWS S3 User Guide (object uploads, presigned URLs, checksums); документация MinIO (mc, политики, MINIO_*_FILE); AWS SDK for JavaScript v3 (@aws-sdk/client-s3 3.1156.0, s3-request-presigner, @smithy/node-http-handler); спецификации PNG (RFC 2083 / W3C) и JPEG (ITU-T T.81) для потокового валидатора. Код и эксперименты подготовлены с помощью ИИ-ассистента; все числа ниже получены прогонами на описанном стенде и лежат в evidence/lab4/.

Запуск из чистого clone

Версии: Docker 29.9.1, Docker Compose v5.6.0, Node.js 25.7.0 (сборка API — образ node:25.7.0-slim), Python 3.14 (проверки и харнесс; нужен ≥3.9). Образы закреплены по digest: minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493…8936e, minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349e…1727, postgres:16.4-alpine, redis:7.4.2-alpine, haproxy:3.2-alpine. Хост — Fedora, 8 логических CPU, 16 GiB RAM.

git clone <origin> lab4 && cd lab4
make init-env      # создаёт .env (пароль PG, METRICS_TOKEN) и secrets/* (root и API-credentials MinIO); идемпотентно, значения не печатает
make stand-up      # docker compose up -d --build --wait: postgres, redis, s3, s3-init, migrate, api x2, haproxy
make wait-ready    # GET /health/ready через LB
make test          # публичный smoke (через LB)
make check         # оффлайн-проверка структуры контракта
make test-e2e      # black-box набор: app / attachments / direct-upload (нужны loopback-порты PG, Redis, MinIO)
make test-dependencies                       # отказы Redis/PG/S3 (останавливают контейнеры стенда и возвращают их)
make s3-security   # приватность bucket и права API-credentials вне API
make consistency   # сверка bucket и БД (orphans / missing)
make bench         # матрица экспериментов, пишет evidence/lab4/bench/*.json и summary.md
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh

Действия оператора: только make init-env (секреты создаются локально в secrets/, каталог в .gitignore; secrets/ и .env нельзя коммитить). Остановка с сохранением данных — make stand-down (тома postgres-data, redis-data, s3-data сохраняются). Намеренное удаление учебных данных: docker compose --env-file .env down -v (удаляет все три тома, включая загруженные файлы; следующий make stand-up создаёт пустую схему и заново идемпотентно настраивает bucket).

Короткий TTL для проверки истёкшего URL: DIRECT_UPLOAD_URL_TTL_SECONDS=5 ATTACHMENT_SWEEP_GRACE_SECONDS=0 ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps api, затем E2E_DIRECT_TTL_SHORT=1 scripts/app-e2e.sh direct-upload, затем вернуть стенд тем же up -d --no-deps api без переменных.

Архитектура и решения

клиент ──► HAProxy ──► API × 2 ──► PostgreSQL   (метаданные, связи, идемпотентность)
                          │   ├──► Redis        (сессии, кэш истории)
                          │   └──► MinIO (s3)   (байты оригиналов, приватный bucket)
клиент ───────────── presigned PUT (трек 1) ───► MinIO  (минуя API)
  • Источник истины: метаданные и связи «сообщение ↔ вложение» — PostgreSQL (attachments, message_attachments); байты — только в bucket по ключу attachments/<uuid>/original. Имя файла хранится для отображения и никогда не попадает в ключ или путь. На API нет локального файла оригинала: корневая ФС контейнера read_only: true, /tmp — tmpfs 16 MiB (evidence/lab4/readonly-api.txt).

  • Жизненный цикл строки: pending (байты не подтверждены) → ready (видна участникам чата), либо deleting (захвачена компенсацией или уборщиком) → строка удалена, либо (direct) rejected (проверка не пройдена, URL ещё может действовать) → уборщик. Публично существуют только ready. Инварианты в БД: составные FK (chat_id, owner_id) → chat_members и (attachment_id, chat_id) → attachments(id, chat_id) делают «вложение другого чата» невозможным; CHECK требует size/sha256/width/height у ready и expires_at у незавершённых; FK message_attachments → attachments без каскада запрещает удалить вложение, на которое ссылается сообщение, а каскад удаления чата проходит.

  • Когда честно 201 (proxy): только после того, как S3 принял весь объект (PutObject завершён) и UPDATE … SET status='ready' WHERE status='pending' изменил строку. Этот UPDATE проигрывает захвату уборщиком атомарно (строка уже deleting → 503, а не фальшивый 201).

  • S3 PUT прошёл, а COMMIT нет — и как не потерять оригинал. Ошибка markReady на стороне API не означает, что COMMIT не прошёл: соединение может оборваться после фиксации, и тогда строка уже ready. Поэтому компенсация сначала захватывает строку (UPDATE … SET status='deleting' WHERE id=$1 AND status='pending') и удаляет объект только после успешного захвата, затем удаляет строку:

    • захват не сработал (строка уже не pending) — объект не трогается; если строка ready, API отвечает 201 с этим вложением (attachments.upload.recovered): COMMIT был, это правда;
    • PostgreSQL недоступен — ничего не удаляется (attachments.compensation_deferred): по строке pending объект найдёт уборщик через expires_at + ATTACHMENT_SWEEP_GRACE_SECONDS, и он тоже сначала захватывает строку;
    • S3 недоступен после захвата — строка остаётся deleting и перезахватывается уборщиком через минуту.

    Так «объект без строки» не возникает ни при каком сбое, а ready без объекта — только при внешнем удалении из bucket. Первая версия удаляла объект до строки и теряла оригинал при потерянном ответе COMMIT; регрессия — attachments.service.spec.ts (unit, мок «COMMIT прошёл, ответ потерян»), а fault-тест dependency-failures «keeps the object while PostgreSQL is down before ready» проверяет, что при остановленном PG объект сохраняется до уборки.

  • Proxy: потоковая передача + полная проверка изображения. Тело читается как поток и сразу идёт в S3 с заранее известным Content-Length (≤ 10 MiB, иначе 413 до чтения). Проверка в два слоя:

    1. ImageInspector — байтовый автомат PNG/JPEG без буферизации: сигнатура, структура, CRC чанков PNG, тип по содержимому и число пикселей (≤ 40 млн → 413) по IHDR/SOF. До появления заголовка (≤ 1 MiB) нет ни строки, ни объекта; pixel bomb отвергается до любого декодирования.
    2. ImageDecoder — полный декод всех пикселей libvips (sharp 0.35, failOn: 'warning', limitInputPixels). Структуры и CRC недостаточно: PNG с мусорным zlib-потоком (верные CRC) и JPEG без данных скана проходят первый слой — их ловит только декод (первая версия возвращала на них 201). Декод ограничен IMAGE_DECODE_MAX_CONCURRENT (очередь), libvips — один поток, без кэша.

    Последний кусок отдаётся в S3 только после обоих слоёв — S3 не получает полное тело невалидного файла и не фиксирует объект. Цена: на время загрузки API держит копию тела (≤ 10 MiB) для декода (libvips не принимает поток), плюс память декода (≈117–131 MiB на изображение 40 млн пикселей, evidence/lab4/decode-memory.txt). Верхняя граница на реплику: UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × 131 MiB = 16 × 10 + 2 × 131 ≈ 422 MiB при лимите контейнера 768 MiB. Остальные ограничители: UPLOAD_MAX_IN_FLIGHT (429 + Retry-After, общий для proxy и direct complete), UPLOAD_TIMEOUT_MS, тайм-ауты S3-клиента. Fastify bodyLimit к image/* не применяется: контент-парсеры отдают сырой поток только маршруту загрузки (для text/plain на нём встроенный буферизующий парсер заменён — иначе бинарное тело давало 400; на остальных маршрутах image/* → 415, text/plain буферизуется как прежде).

  • Прямая загрузка (трек 1): POST /api/v1/chats/{id}/attachments/direct-uploads создаёт строку pending (expires_at = now + TTL) и возвращает presigned PUT. Подписаны content-type, content-length и x-amz-checksum-sha256: S3 сам отвергает тело другого размера (403 SignatureDoesNotMatch) или с другим SHA-256 (400 XAmzContentChecksumMismatch), объект при этом не создаётся (evidence/lab4/presign-spike.txt). POST /api/v1/attachments/{id}/complete (только владелец): HEAD (размер + подписанный checksum), затем объект читается целиком и проходит те же два слоя, что и proxy (инспектор + полный декод), сверка типа и пикселей, markReady. Подписанный checksum доказывает лишь, что байты те, что заявил клиент, а не что это изображение: первая версия читала только начало и принимала усечённый PNG и файл, повреждённый после первых 64 KiB (оба с верным checksum). Цена — входящий трафик API = size на complete (см. H2). Несоответствие (размер/checksum/тип/пиксели) → 409/413/415, объект удаляется, а строка получает статус rejected и сохраняет expires_at: подписанный URL ещё может быть использован, и повторный PUT оставил бы объект без строки; уборщик удаляет rejected после expires_at + grace, пока же строка занимает слот лимита, а повторный complete даёт 404. «Upload has not been received» (409) строку не трогает — клиент может доотправить. Повторный complete готового — 200. Лимит незавершённых заявок на пользователя: DIRECT_UPLOAD_MAX_PENDING_PER_USER (429 с Retry-After). Перезапись по тому же URL до истечения TTL возможна только теми же байтами (checksum подписан). Расширение контракта: contracts/extensions.openapi.json; обязательный proxy endpoint не менялся.

  • Почему volume реплики ≠ объектное хранилище: файл в volume одной реплики недоступен другой, теряется при пересоздании контейнера и не масштабируется; здесь байты лежат в общем MinIO со своим томом, поэтому download через любую реплику возвращает тот же объект (evidence/lab4/failover-attachment.txt).

  • Почему случайный ключ и приватный bucket не заменяют ACL приложения: ключ — не секрет (он может утечь через логи, presigned URL, дамп БД), а bucket приватен для всех, кроме API. Решение «кто из пользователей видит вложение» принимает только приложение: каждый запрос метаданных и content проверяет членство в чате (findVisible), посторонний получает 404; у bucket нет понятия «участник чата».

  • Недоступность S3 — деградация, не отказ готовности: S3 не входит в /health/ready; вложения отвечают bounded 503 unavailable, а текст, чаты, история, метаданные продолжают работать. Так реплики не уходят из ротации LB из-за зависимости, нужной лишь части функций.

  • Секреты: secrets/* монтируются как Docker secrets; MinIO читает root через MINIO_ROOT_USER_FILE/MINIO_ROOT_PASSWORD_FILE, API — через S3_*_FILE. У API отдельный пользователь с политикой messenger-api: Get/Put/DeleteObject только на attachments/* и ListBucket (чтобы отсутствующий ключ давал 404, а не 403). migrate S3-секретов не получает (parseDatabaseConfig). Консоль MinIO отключена (MINIO_BROWSER=off), порт 9001 не публикуется, порт API S3 9000 опубликован только на loopback (S3_PUBLIC_BIND=127.0.0.1) — нужен клиенту presigned URL и тестам.

Что перенесено из lab3: приложение NestJS/Fastify, HAProxy, Redis-сессии, идемпотентность, хуки. Изменено: messages.attachment_ids (в CREATE_ONCE_SQL проверка и вставка ссылок в том же операторе, что и сообщение и ключ идемпотентности; отпечаток текстовых сообщений совпадает с lab3), пустой text допустим при наличии вложений, метрики (add, пики памяти с шагом 50 мс), заголовок Retry-After у 429.

Соответствие .env.example → конфигурация

Переменная Где читается Назначение
S3_ENDPOINT, S3_PUBLIC_ENDPOINT ObjectStorage (клиент internal / клиент подписи) сетевой адрес для API / хост в presigned URL
S3_REGION, S3_BUCKET ObjectStorage, infra/minio/bootstrap.sh регион подписи; имя bucket
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE resolveSecret → S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY API-credentials из Docker secrets
S3_CONNECT_TIMEOUT_MS, S3_REQUEST_TIMEOUT_MS NodeHttpHandler тайм-ауты S3-клиента
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS AttachmentsService, DirectUploadsService 10 MiB, 40 млн пикселей
UPLOAD_TIMEOUT_MS, UPLOAD_MAX_IN_FLIGHT AttachmentsService, UploadSlots дедлайн запроса; число одновременных proxy-загрузок и direct complete на реплику (16)
IMAGE_DECODE_MAX_CONCURRENT ImageDecoder одновременные полные декоды на реплику (2)
ATTACHMENT_SWEEP_INTERVAL_MS, ATTACHMENT_SWEEP_GRACE_SECONDS AttachmentSweeper, CLI период фонового прохода (0 = выкл.) и grace после expires_at
DIRECT_UPLOAD_URL_TTL_SECONDS, DIRECT_UPLOAD_MAX_PENDING_PER_USER DirectUploadsService TTL подписи; лимит незавершённых заявок
S3_PUBLIC_BIND, S3_PUBLIC_PORT, S3_CPUS, S3_MEMORY compose.yaml (сервис s3) публикация порта на loopback; лимиты контейнера
minio_root_*, s3_api_* secrets/* → compose.yaml secrets credentials; создаются scripts/init-env.sh

Остальные переменные (DATABASE_URL, REDIS_URL, METRICS_TOKEN, лимиты, порты) — как в lab3.

Компенсация, сверка, очистка (grace period)

expires_at у proxy = старт + UPLOAD_TIMEOUT_MS (жёсткий дедлайн запроса), у direct = выдача URL + TTL. Уборщик берёт строки pending/rejected только через ATTACHMENT_SWEEP_GRACE_SECONDS (900 с по умолчанию) после этого: живую загрузку он не застанет, а markReady … WHERE status='pending' проигрывает захвату (pending → deleting, FOR UPDATE SKIP LOCKED, реплики не мешают друг другу). Застрявшая в deleting строка (упавший уборщик или компенсация, которой не ответил S3) перезахватывается через минуту — живая компенсация за это время либо завершается, либо уже не идёт. Ручной запуск: docker compose exec api node dist/attachments/attachments-sweep.cli.js. Сверка в обе стороны (только чтение): make consistency — orphans (объект без строки) и missing (ready без объекта). Отсутствующий объект у ready-строки при download — это потеря данных: 500 и счётчик attachments.object_missing, а не клиентская ошибка.

Доказательства критериев

Все файлы — в evidence/lab4/; в них нет .env, токенов, секретов и подписанных URL.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab4 public API scenario (upload 201 ready, сообщение с '' и attachment_ids, download bob = байты, eve 404) make-test.txt
Контракт offline make check PASS, contracts/extensions.openapi.json — валидный JSON make-check.txt
3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket make stand-up; docker compose ps; make consistency s3 healthy, s3-init завершён с 0; bucket приватный (mc anonymous set none); после серий make bench, e2e и fault-тестов: 5066 объектов на 5065 ready + 15 незавершённых строк (pending/rejected, ждут истечения + grace; одна из них — с объектом), orphans/missing = 0 bootstrap-rerun.txt, consistency.txt
3: 201 ready, побайтный download, attachment_ids make test-e2e (attachments.e2e-spec.ts) sha256 в ответе = sha256 файла; content = байты, nosniff, Content-Length make-test-e2e.txt
3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как image/jpeg → 415, a/b.png, \u202E, NUL, 256 символов → 400, 255×😀 → 201 кейсы перечислены в app/test/attachments.e2e-spec.ts (в evidence — итог: 38 passed, 8 skipped opt-in); raw image/text тело на JSON-маршрутах → 415/400, не 500 make-test-e2e.txt, unit-tests.txt (43 passed: image-inspector.spec.ts, image-decoder.spec.ts, attachments.service.spec.ts)
3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные scripts/stop-one.sh (обе реплики по очереди), make test-failover; make test-persistence ACTION_SCRIPT=scripts/restart.sh failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: StartedAt у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены failover.txt, failover-attachment.txt, persistence.txt
3: на API нет локального файла оригинала touch в корне контейнера Read-only file system readonly-api.txt
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, вложение другого чата, нет 500 make test-e2e 413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело, PNG с мусорным zlib-потоком при верных CRC, JPEG (baseline и прогрессивный) без данных скана → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 make-test-e2e.txt
4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов e2e «client drops the connection»; make test-dependencies обрыв клиента → строк 0 за ≤10 с; S3 down → строка в deleting, после старта перезахвачена и убрана sweep; PG down между PUT и ready → 503, объект сохранён до уборки (строка pending его учитывает), после sweep нет ни объекта, ни строки; потерянный ответ COMMIT → объект не удаляется, 201 (unit attachments.service.spec.ts); затем orphans: 0, missing: 0 make-test-e2e.txt, make-test-dependencies.txt, consistency.txt
4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти make bench (proxy, C=10 и C=20, 9.5 MiB) медиана max Δrss реплики 43 MiB при C=10 и 50 MiB при C=20 (≈95/190 MiB тел в полёте), абсолютный пик RSS ≤ 391 MiB при лимите 768 MiB; граница по конфигурации ≈422 MiB сверх базового RSS; худший декод 40 млн px — 131 MiB — см. «Эксперименты» summary.md, bench/*.json, decode-memory.txt
4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API docker compose run s3-init дважды; make s3-security повтор → bootstrap ok; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне attachments/, читают attachments/*; порт 9001 не опубликован и не отвечает bootstrap-rerun.txt, s3-security.txt
5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) direct-upload.e2e-spec.ts; спайк подписи init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; усечённый PNG и PNG, повреждённый после первых 64 KiB (оба с верным checksum) → 415, затем 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + Retry-After make-test-e2e.txt, presign-spike.txt
5 / трек 1: истёкший URL и уборка E2E_DIRECT_TTL_SHORT=1 на стенде с TTL 5 с PUT после expires_at → 403, строка убрана уборщиком, complete → 404 direct-ttl-short.txt
5 / трек 1: сравнение трафика и RAM API на ≥2 размерах make bench (0.125, 1, 9.5 MiB) см. таблицу ниже summary.md, bench/*.json

Оговорка по hook'ам: make test-persistence и make test-failover подтверждают сохранность данных и сессии; какие процессы перезапущены, видно по StartedAt до/после (persistence.txt). scripts/stop-one.sh останавливает только реплику, обслужившую сессию теста (в трёх прогонах make test-failover это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно failover-attachment.txt.

Эксперименты и отказы

Методика. Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка: scripts/lab4/attachments_bench.py, closed-loop: C потоков × 5 загрузок несжимаемых PNG (noise_png, разные seed — несжимаемые, поэтому декод не дешевле реальных фото), R = 3 повтора; один прогрев на конфигурацию (2 × число реплик загрузок, не измеряется), перед каждым повтором — POST /internal/metrics/reset на каждой реплике. Трафик API — дельта eth0 rx/tx из /proc/net/dev контейнера; RAM — пик process.memoryUsage().rss с шагом 50 мс минус RSS в момент reset (Δrss); в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: make bench (scripts/lab4/run_matrix.sh); raw — evidence/lab4/bench/*.json (без токенов и URL).

H1 (уровень 4). Память реплики при ≥ 10 параллельных загрузках ограничена сверху конфигурацией (UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × ≈131 MiB ≈ 422 MiB) и не зависит от числа клиентов сверх этого лимита. Исходная формулировка («Δrss почти не зависит от размера файла») для текущей версии неверна по построению: ради полного декода API держит копию тела.

H2 (трек 1). Прямая загрузка снимает с API передачу байтов в S3 (tx) и не требует держать соединение клиента на время заливки; входящий трафик API она не снижает, потому что complete читает объект целиком для проверки; латентность direct выше из-за трёх round trip и повторного чтения.

Результаты (evidence/lab4/summary.md, коммит 4badd5a; 150 загрузок на строку при C=10, 300 при C=20; ошибок 0):

mode size, MiB C API rx/upload, MiB API tx/upload, MiB max Δrss, MiB p50, ms p95, ms
direct 0.12 10 0.13 0.01 5.25 72 120
proxy 0.12 10 0.13 0.13 3.00 57 87
direct 1.00 10 1.01 0.01 1.38 154 252
proxy 1.00 10 1.01 1.01 2.00 132 183
direct 9.50 10 9.52 0.01 83.62 755 1018
proxy 9.50 10 9.52 9.53 42.94 642 889
proxy 9.50 20 9.53 9.53 49.98 1336 1743

Выводы:

  • H1 подтверждена. Рост памяти сверх базового RSS процесса (≈240–255 MiB после прогрева, включая загруженный libvips): Δrss 26–57 MiB по повторам при proxy 9.5 MiB C=10 (медиана 43) и 28–121 MiB при C=20 (медиана 50) — ниже границы ≈422 MiB и намного меньше ≈95/190 MiB тел в полёте на весь стенд. Абсолютный пик RSS реплики — 311–391 MiB при лимите контейнера 768 MiB. Рост от размера файла есть (0.12 и 1 MiB — 0.5–6 MiB, 9.5 MiB — десятки MiB): это копия тела для декода и сам декод (≈155 мс на файл 9.5 MiB, счётчик attachments.decode.ms). Худший допустимый декод (40 млн пикселей) — ≈131 MiB, измерен отдельно (decode-memory.txt) и в бенчмарк не входил. Δrss шумная (у одной конфигурации разброс до 4×), поэтому разница между C=10 и C=20 не интерпретируется.
  • H2 подтверждена в новой формулировке. API tx у direct ≈0.01 MiB против size у proxy (≈1000× для 9.5 MiB); API rx одинаков (≈size), потому что complete читает объект целиком. Ранняя версия, читавшая только начало объекта, давала rx ≈0.07 MiB, но принимала повреждённые изображения — этот выигрыш был ценой корректности и отозван. Δrss у direct 9.5 MiB выше, чем у proxy (84 против 43 MiB): объект читается из S3 быстрее, чем приходит от клиента, и больше копий одновременно ждут декода. Латентность direct выше на всех размерах (p50 72/154/755 против 57/132/642 мс): три запроса и повторное чтение объекта. Выигрыш direct в этой реализации — только снятие с API исходящего трафика в S3 и времени заливки клиентом; для полного выигрыша по rx проверку нужно вынести с API (асинхронный воркер рядом с хранилищем) — это следующий шаг, не реализован.
  • Сравнение с предыдущими прогонами (без полного декода, коммит 830e581): p50 proxy 9.5 MiB C=10 вырос с 239 до 642 мс, медиана Δrss — с 15.7 до 42.9 MiB. Это цена закрытия дыры в валидации.

Ограничения измерений. Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети; /proc/net/dev реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку, видно в tx у direct; метрики и конфигурация берутся прогонами docker exec, но их трафик в измеряемое окно не входит, кроме двух чтений метрик); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные латентности не переносимы.

Отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
S3 остановлен (compose stop s3) вложения → bounded 503; текст, история, метаданные, /health/ready работают upload → 503 unavailable без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; строка неудачной загрузки в deleting (захвачена, удаление объекта не прошло) после start s3 и healthy download старого файла 200 с теми же байтами, новый upload 201; строка перезахвачена и убрана sweep через минуту; потерь нет
PostgreSQL остановлен между S3 PUT и ready 503; API не знает, прошёл ли COMMIT, — ничего не удаляет; объект учтён строкой ответ 503; после старта PG строка pending, объект на месте (mc stat — есть); после expires_at sweep удалил объект и строку уборка через expires_at + grace; orphans: 0, missing: 0
COMMIT ready прошёл, ответ PostgreSQL потерян объект не удаляется, клиент получает 201 unit attachments.service.spec.ts: захват строки не срабатывает, delete не вызывается, ответ 201 ready потерь нет (в стенде не воспроизводится без прокси, разрывающего соединение после COMMIT)
Обрыв клиента посреди загрузки (512 KiB из 2 MiB) не остаётся ни строки, ни объекта PUT прерывается (S3 put failed: AbortError в логе API, в evidence не сохранён) без ожидания тайм-аута, компенсация, строк в чате 0 ≤10 с (предел ожидания теста; точное время не измерялось)
Остановка обслужившей реплики другая реплика отдаёт тот же файл download 200, тот же sha256, другой X-Instance-Id для api-1 и api-2 ≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140
Restart стенда (scripts/restart.sh) метаданные и оригиналы сохраняются, сессия жива persistence PASS; StartedAt всех сервисов изменился потерь нет (время до готовности отдельно не измерялось)
Истёкший presigned URL PUT отвергается, заявка убирается PUT → 403; строка убрана уборщиком; complete → 404 TTL (5 с в прогоне) + grace 0 + период уборщика 1 с
Подмена байтов / размера при прямой загрузке S3 отвергает, объект не создаётся 400 XAmzContentChecksumMismatch / 403 SignatureDoesNotMatch; complete → 409 заявка остаётся до TTL, клиент может доотправить

Ограничения и следующие шаги

  • MinIO: закреплён образ RELEASE.2025-09-07T16-13-09Z; по данным, использованным при планировании, репозиторий minio/minio архивирован — новых образов и исправлений не будет (в этой сессии не перепроверялось). Для продакшена потребуется замена (SeaweedFS/RustFS) или форк.
  • Полная проверка изображения стоит памяти и времени: копия тела (≤ 10 MiB) на загрузку и декод через libvips (нативная зависимость sharp, ≈131 MiB на худший вход). failOn: 'warning' строже браузеров: файл с предупреждением libjpeg/libpng будет отвергнут (на 300 изображениях с хоста ложных отказов не было, но выборка не репрезентативна для фото с камер). Проверяются декодируемость и целостность, а не «безопасность для всех декодеров» — перекодирование в чистый формат не делается.
  • Direct не экономит входящий трафик API (см. H2); это следствие проверки на API. Следующий шаг — асинхронная проверка воркером рядом с хранилищем (status: processing), что требует расширения контракта.
  • Гонка лимита заявок: countPendingDirect и insertPending не атомарны — параллельные init одного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято.
  • Загрузка, не доставленная до ready, видна уборщику только через grace (по умолчанию 15 мин): до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения.
  • Компенсация при недоступной БД ничего не удаляет: объект остаётся до уборки (expires_at + 900 с grace) — сознательный выбор: без БД нельзя отличить «COMMIT не прошёл» от «ответ потерян», а удаление в втором случае теряет оригинал. Объект без строки (например, строку удалили вручную) обнаружит только make consistency — автоматического reconciler'а нет (это трек 2).
  • Потерянный COMMIT проверен только unit-тестом с моком репозитория: стенд не умеет разорвать соединение PostgreSQL ровно после COMMIT (для этого нужен прокси вроде toxiproxy).
  • Таймаут загрузки уничтожает тело (и сокет) — клиент может получить обрыв соединения вместо ожидаемого 400 «Upload was interrupted»; строка и объект при этом компенсируются.
  • TLS нет до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому администрирование — только через mc из контейнера.
  • Не реализовано: варианты вложений (variants всегда []; variant=thumbnail|crop|optimized → 404), delete-API вложений, WebP.
  • Подтверждено измерением: память реплики ограничена конфигурацией и в эксперименте далеко от лимита; direct снимает с API исходящий трафик в S3. Опровергнуто для текущей версии: снижение входящего трафика API прямой загрузкой. Остаётся гипотезой: поведение памяти при C ≫ 20 (упор в UPLOAD_MAX_IN_FLIGHT, 429) и на реальных фото, а не на шуме.