Files
mtusi2026lab4/REPORT.md
T

322 lines
42 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- **Автор, группа:** Илья Тюнин; группа — БВТ2303
- **Целевая оценка:** 5, трек 1 «Прямой upload» (presigned PUT)
- **Commit/PR:** ветка `lab4`, коммиты с префиксом `lab4: ` (стенд MinIO; конфигурация и `ObjectStorage`;
схема и потоковый валидатор; вложения и `attachment_ids`; e2e и отказы; прямая загрузка, скрипты
экспериментов). PR — после пуша ветки в origin.
- **Источники, библиотеки и помощь ИИ:** контракт `contracts/openapi.json`, `contracts/README.md`;
AWS S3 User Guide (object uploads, presigned URLs, checksums); документация MinIO (`mc`, политики,
`MINIO_*_FILE`); AWS SDK for JavaScript v3 (`@aws-sdk/client-s3` 3.1156.0, `s3-request-presigner`,
`@smithy/node-http-handler`); спецификации PNG (RFC 2083 / W3C) и JPEG (ITU-T T.81) для
потокового валидатора. Код и эксперименты подготовлены с помощью ИИ-ассистента; все числа ниже
получены прогонами на описанном стенде и лежат в `evidence/lab4/`.
## Запуск из чистого clone
Версии: Docker 29.9.1, Docker Compose v5.6.0, Node.js 25.7.0 (сборка API — образ `node:25.7.0-slim`),
Python 3.14 (проверки и харнесс; нужен ≥3.9). Образы закреплены по digest:
`minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493…8936e`,
`minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349e…1727`, `postgres:16.4-alpine`,
`redis:7.4.2-alpine`, `haproxy:3.2-alpine`. Хост — Fedora, 8 логических CPU, 16 GiB RAM.
```sh
git clone <origin> lab4 && cd lab4
make init-env # создаёт .env (пароль PG, METRICS_TOKEN) и secrets/* (root и API-credentials MinIO); идемпотентно, значения не печатает
make stand-up # docker compose up -d --build --wait: postgres, redis, s3, s3-init, migrate, api x2, haproxy
make wait-ready # GET /health/ready через LB
make test # публичный smoke (через LB)
make check # оффлайн-проверка структуры контракта
make test-e2e # black-box набор: app / attachments / direct-upload (нужны loopback-порты PG, Redis, MinIO)
make test-dependencies # отказы Redis/PG/S3 (останавливают контейнеры стенда и возвращают их)
make s3-security # приватность bucket и права API-credentials вне API
make consistency # сверка bucket и БД (orphans / missing)
make bench # матрица экспериментов, пишет evidence/lab4/bench/*.json и summary.md
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
```
Действия оператора: только `make init-env` (секреты создаются локально в `secrets/`, каталог в
`.gitignore`; `secrets/` и `.env` нельзя коммитить). Остановка с сохранением данных — `make stand-down`
(тома `postgres-data`, `redis-data`, `s3-data` сохраняются). **Намеренное удаление учебных данных:**
`docker compose --env-file .env down -v` (удаляет все три тома, включая загруженные файлы; следующий
`make stand-up` создаёт пустую схему и заново идемпотентно настраивает bucket).
Короткий TTL для проверки истёкшего URL: `DIRECT_UPLOAD_URL_TTL_SECONDS=5 ATTACHMENT_SWEEP_GRACE_SECONDS=0
ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps api`, затем
`E2E_DIRECT_TTL_SHORT=1 scripts/app-e2e.sh direct-upload`, затем вернуть стенд тем же `up -d --no-deps api`
без переменных.
## Архитектура и решения
```
клиент ──► HAProxy ──► API × 2 ──► PostgreSQL (метаданные, связи, идемпотентность)
│ ├──► Redis (сессии, кэш истории)
│ └──► MinIO (s3) (байты оригиналов, приватный bucket)
клиент ───────────── presigned PUT (трек 1) ───► MinIO (минуя API)
```
- **Источник истины:** метаданные и связи «сообщение ↔ вложение» — PostgreSQL (`attachments`,
`message_attachments`); байты — только в bucket по ключу `attachments/<uuid>/original`. Имя файла
хранится для отображения и никогда не попадает в ключ или путь. На API нет локального файла
оригинала: корневая ФС контейнера `read_only: true`, `/tmp` — tmpfs 16 MiB
(`evidence/lab4/readonly-api.txt`).
- **Жизненный цикл строки:** `pending` (байты не подтверждены) → `ready` (видна участникам чата),
либо `deleting` (захвачена компенсацией или уборщиком) → строка удалена, либо (direct) `rejected`
(проверка не пройдена, URL ещё может действовать) → уборщик. Публично существуют только `ready`.
Инварианты в БД: составные FK `(chat_id, owner_id) → chat_members` и
`(attachment_id, chat_id) → attachments(id, chat_id)` делают «вложение другого чата» невозможным;
`CHECK` требует size/sha256/width/height у `ready` и `expires_at` у незавершённых; FK
`message_attachments → attachments` без каскада запрещает удалить вложение, на которое ссылается
сообщение, а каскад удаления чата проходит.
- **Когда честно 201 (proxy):** только после того, как S3 принял весь объект (`PutObject` завершён) и
`UPDATE … SET status='ready' WHERE status='pending'` изменил строку. Этот `UPDATE` проигрывает
захвату уборщиком атомарно (строка уже `deleting` → 503, а не фальшивый 201).
- **S3 PUT прошёл, а COMMIT нет — и как не потерять оригинал.** Ошибка `markReady` на стороне API
не означает, что COMMIT не прошёл: соединение может оборваться *после* фиксации, и тогда строка
уже `ready`. Поэтому компенсация сначала **захватывает строку**
(`UPDATE … SET status='deleting' WHERE id=$1 AND status='pending'`) и удаляет объект **только после
успешного захвата**, затем удаляет строку:
- захват не сработал (строка уже не `pending`) — объект не трогается; если строка `ready`, API
отвечает 201 с этим вложением (`attachments.upload.recovered`): COMMIT был, это правда;
- PostgreSQL недоступен — ничего не удаляется (`attachments.compensation_deferred`): по строке
`pending` объект найдёт уборщик через `expires_at + ATTACHMENT_SWEEP_GRACE_SECONDS`, и он тоже
сначала захватывает строку;
- S3 недоступен после захвата — строка остаётся `deleting` и перезахватывается уборщиком через минуту.
Так «объект без строки» не возникает ни при каком сбое, а `ready` без объекта — только при внешнем
удалении из bucket. Первая версия удаляла объект до строки и теряла оригинал при потерянном ответе
COMMIT; регрессия — `attachments.service.spec.ts` (unit, мок «COMMIT прошёл, ответ потерян»), а
fault-тест `dependency-failures` «keeps the object while PostgreSQL is down before ready» проверяет,
что при остановленном PG объект сохраняется до уборки.
- **Proxy: потоковая передача + полная проверка изображения.** Тело читается как поток и сразу идёт
в S3 с заранее известным `Content-Length` (≤ 10 MiB, иначе 413 до чтения). Проверка в два слоя:
1. `ImageInspector` — байтовый автомат PNG/JPEG без буферизации: сигнатура, структура, CRC чанков
PNG, тип по содержимому и число пикселей (≤ 40 млн → 413) по IHDR/SOF. До появления заголовка
(≤ 1 MiB) нет ни строки, ни объекта; pixel bomb отвергается до любого декодирования.
2. `ImageDecoder` — полный декод всех пикселей libvips (sharp 0.35, `failOn: 'warning'`,
`limitInputPixels`). Структуры и CRC недостаточно: PNG с мусорным zlib-потоком (верные CRC) и JPEG
без данных скана проходят первый слой — их ловит только декод (первая версия возвращала на них
201). Декод ограничен `IMAGE_DECODE_MAX_CONCURRENT` (очередь), libvips — один поток, без кэша.
Последний кусок отдаётся в S3 только после обоих слоёв — S3 не получает полное тело невалидного
файла и не фиксирует объект. Цена: на время загрузки API держит копию тела (≤ 10 MiB) для декода
(libvips не принимает поток), плюс память декода (≈117–131 MiB на изображение 40 млн пикселей,
`evidence/lab4/decode-memory.txt`). Верхняя граница на реплику:
`UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × 131 MiB` = 16 × 10 + 2 × 131 ≈ 422 MiB
при лимите контейнера 768 MiB. Остальные ограничители: `UPLOAD_MAX_IN_FLIGHT` (429 +
`Retry-After`, общий для proxy и direct complete), `UPLOAD_TIMEOUT_MS`, тайм-ауты S3-клиента.
Fastify `bodyLimit` к `image/*` не применяется: контент-парсеры отдают сырой поток только маршруту
загрузки (для `text/plain` на нём встроенный буферизующий парсер заменён — иначе бинарное тело
давало 400; на остальных маршрутах `image/*` → 415, `text/plain` буферизуется как прежде).
- **Прямая загрузка (трек 1):** `POST /api/v1/chats/{id}/attachments/direct-uploads` создаёт строку
`pending` (`expires_at = now + TTL`) и возвращает presigned PUT. Подписаны `content-type`,
`content-length` и `x-amz-checksum-sha256`: S3 сам отвергает тело другого размера (403
`SignatureDoesNotMatch`) или с другим SHA-256 (400 `XAmzContentChecksumMismatch`), объект при этом
не создаётся (`evidence/lab4/presign-spike.txt`). `POST /api/v1/attachments/{id}/complete`
(только владелец): `HEAD` (размер + подписанный checksum), затем объект **читается целиком** и
проходит те же два слоя, что и proxy (инспектор + полный декод), сверка типа и пикселей, `markReady`.
Подписанный checksum доказывает лишь, что байты те, что заявил клиент, а не что это изображение:
первая версия читала только начало и принимала усечённый PNG и файл, повреждённый после первых
64 KiB (оба с верным checksum). Цена — входящий трафик API = size на `complete` (см. H2). Несоответствие
(размер/checksum/тип/пиксели) → 409/413/415, объект удаляется, а строка получает статус
`rejected` и сохраняет `expires_at`: подписанный URL ещё может быть использован, и повторный PUT
оставил бы объект без строки; уборщик удаляет `rejected` после `expires_at` + grace, пока же строка
занимает слот лимита, а повторный `complete` даёт 404. «Upload has not been received» (409)
строку не трогает — клиент может доотправить. Повторный `complete` готового — 200. Лимит
незавершённых заявок на пользователя: `DIRECT_UPLOAD_MAX_PENDING_PER_USER` (429 с `Retry-After`).
Перезапись по тому же URL до истечения TTL возможна только теми же байтами (checksum подписан).
Расширение контракта: `contracts/extensions.openapi.json`; обязательный proxy endpoint не менялся.
- **Почему volume реплики ≠ объектное хранилище:** файл в volume одной реплики недоступен другой,
теряется при пересоздании контейнера и не масштабируется; здесь байты лежат в общем MinIO со своим
томом, поэтому download через любую реплику возвращает тот же объект
(`evidence/lab4/failover-attachment.txt`).
- **Почему случайный ключ и приватный bucket не заменяют ACL приложения:** ключ — не секрет (он
может утечь через логи, presigned URL, дамп БД), а bucket приватен для всех, кроме API. Решение
«кто из пользователей видит вложение» принимает только приложение: каждый запрос метаданных и
content проверяет членство в чате (`findVisible`), посторонний получает 404; у bucket нет
понятия «участник чата».
- **Недоступность S3 — деградация, не отказ готовности:** S3 не входит в `/health/ready`;
вложения отвечают bounded `503 unavailable`, а текст, чаты, история, метаданные продолжают работать.
Так реплики не уходят из ротации LB из-за зависимости, нужной лишь части функций.
- **Секреты:** `secrets/*` монтируются как Docker secrets; MinIO читает root через
`MINIO_ROOT_USER_FILE`/`MINIO_ROOT_PASSWORD_FILE`, API — через `S3_*_FILE`. У API отдельный
пользователь с политикой `messenger-api`: `Get/Put/DeleteObject` только на `attachments/*` и
`ListBucket` (чтобы отсутствующий ключ давал 404, а не 403). `migrate` S3-секретов не получает
(`parseDatabaseConfig`). Консоль MinIO отключена (`MINIO_BROWSER=off`), порт 9001 не публикуется,
порт API S3 `9000` опубликован только на loopback (`S3_PUBLIC_BIND=127.0.0.1`) — нужен клиенту
presigned URL и тестам.
Что перенесено из lab3: приложение NestJS/Fastify, HAProxy, Redis-сессии, идемпотентность, хуки.
Изменено: `messages.attachment_ids` (в `CREATE_ONCE_SQL` проверка и вставка ссылок в том же операторе,
что и сообщение и ключ идемпотентности; отпечаток текстовых сообщений совпадает с lab3), пустой
`text` допустим при наличии вложений, метрики (`add`, пики памяти с шагом 50 мс), заголовок
`Retry-After` у 429.
### Соответствие `.env.example` → конфигурация
| Переменная | Где читается | Назначение |
| --- | --- | --- |
| `S3_ENDPOINT`, `S3_PUBLIC_ENDPOINT` | `ObjectStorage` (клиент `internal` / клиент подписи) | сетевой адрес для API / хост в presigned URL |
| `S3_REGION`, `S3_BUCKET` | `ObjectStorage`, `infra/minio/bootstrap.sh` | регион подписи; имя bucket |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `resolveSecret` → `S3_ACCESS_KEY_ID`/`S3_SECRET_ACCESS_KEY` | API-credentials из Docker secrets |
| `S3_CONNECT_TIMEOUT_MS`, `S3_REQUEST_TIMEOUT_MS` | `NodeHttpHandler` | тайм-ауты S3-клиента |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `AttachmentsService`, `DirectUploadsService` | 10 MiB, 40 млн пикселей |
| `UPLOAD_TIMEOUT_MS`, `UPLOAD_MAX_IN_FLIGHT` | `AttachmentsService`, `UploadSlots` | дедлайн запроса; число одновременных proxy-загрузок и direct complete на реплику (16) |
| `IMAGE_DECODE_MAX_CONCURRENT` | `ImageDecoder` | одновременные полные декоды на реплику (2) |
| `ATTACHMENT_SWEEP_INTERVAL_MS`, `ATTACHMENT_SWEEP_GRACE_SECONDS` | `AttachmentSweeper`, CLI | период фонового прохода (0 = выкл.) и grace после `expires_at` |
| `DIRECT_UPLOAD_URL_TTL_SECONDS`, `DIRECT_UPLOAD_MAX_PENDING_PER_USER` | `DirectUploadsService` | TTL подписи; лимит незавершённых заявок |
| `S3_PUBLIC_BIND`, `S3_PUBLIC_PORT`, `S3_CPUS`, `S3_MEMORY` | `compose.yaml` (сервис `s3`) | публикация порта на loopback; лимиты контейнера |
| `minio_root_*`, `s3_api_*` | `secrets/*` → `compose.yaml` secrets | credentials; создаются `scripts/init-env.sh` |
Остальные переменные (`DATABASE_URL`, `REDIS_URL`, `METRICS_TOKEN`, лимиты, порты) — как в lab3.
### Компенсация, сверка, очистка (grace period)
`expires_at` у proxy = старт + `UPLOAD_TIMEOUT_MS` (жёсткий дедлайн запроса), у direct = выдача URL + TTL.
Уборщик берёт строки `pending`/`rejected` только через `ATTACHMENT_SWEEP_GRACE_SECONDS` (900 с по умолчанию) после этого:
живую загрузку он не застанет, а `markReady … WHERE status='pending'` проигрывает захвату
(`pending → deleting`, `FOR UPDATE SKIP LOCKED`, реплики не мешают друг другу). Застрявшая в
`deleting` строка (упавший уборщик или компенсация, которой не ответил S3) перезахватывается через
минуту — живая компенсация за это время либо завершается, либо уже не идёт. Ручной запуск:
`docker compose exec api node dist/attachments/attachments-sweep.cli.js`. Сверка в обе стороны (только
чтение): `make consistency` — `orphans` (объект без строки) и `missing` (`ready` без объекта).
Отсутствующий объект у `ready`-строки при download — это потеря данных: 500 и счётчик
`attachments.object_missing`, а не клиентская ошибка.
## Доказательства критериев
Все файлы — в `evidence/lab4/`; в них нет `.env`, токенов, секретов и подписанных URL.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab4 public API scenario` (upload 201 ready, сообщение с `''` и `attachment_ids`, download bob = байты, eve 404) | `make-test.txt` |
| Контракт offline | `make check` | PASS, `contracts/extensions.openapi.json` — валидный JSON | `make-check.txt` |
| 3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket | `make stand-up`; `docker compose ps`; `make consistency` | `s3` healthy, `s3-init` завершён с 0; bucket приватный (`mc anonymous set none`); после серий `make bench`, e2e и fault-тестов: 5066 объектов на 5065 `ready` + 15 незавершённых строк (`pending`/`rejected`, ждут истечения + grace; одна из них — с объектом), orphans/missing = 0 | `bootstrap-rerun.txt`, `consistency.txt` |
| 3: 201 ready, побайтный download, `attachment_ids` | `make test-e2e` (`attachments.e2e-spec.ts`) | sha256 в ответе = sha256 файла; content = байты, `nosniff`, `Content-Length` | `make-test-e2e.txt` |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как `image/jpeg` → 415, `a/b.png`, `\u202E`, NUL, 256 символов → 400, 255×😀 → 201 | кейсы перечислены в `app/test/attachments.e2e-spec.ts` (в evidence — итог: 38 passed, 8 skipped opt-in); raw image/text тело на JSON-маршрутах → 415/400, не 500 | `make-test-e2e.txt`, `unit-tests.txt` (43 passed: `image-inspector.spec.ts`, `image-decoder.spec.ts`, `attachments.service.spec.ts`) |
| 3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные | `scripts/stop-one.sh` (обе реплики по очереди), `make test-failover`; `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: `StartedAt` у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены | `failover.txt`, `failover-attachment.txt`, `persistence.txt` |
| 3: на API нет локального файла оригинала | `touch` в корне контейнера | `Read-only file system` | `readonly-api.txt` |
| 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата, нет 500 | `make test-e2e` | 413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело, PNG с мусорным zlib-потоком при верных CRC, JPEG (baseline и прогрессивный) без данных скана → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 | `make-test-e2e.txt` |
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | e2e «client drops the connection»; `make test-dependencies` | обрыв клиента → строк 0 за ≤10 с; S3 down → строка в `deleting`, после старта перезахвачена и убрана sweep; PG down между PUT и ready → 503, объект сохранён до уборки (строка `pending` его учитывает), после sweep нет ни объекта, ни строки; потерянный ответ COMMIT → объект не удаляется, 201 (unit `attachments.service.spec.ts`); затем `orphans: 0, missing: 0` | `make-test-e2e.txt`, `make-test-dependencies.txt`, `consistency.txt` |
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | `make bench` (proxy, C=10 и C=20, 9.5 MiB) | медиана max Δrss реплики 43 MiB при C=10 и 50 MiB при C=20 (≈95/190 MiB тел в полёте), абсолютный пик RSS ≤ 391 MiB при лимите 768 MiB; граница по конфигурации ≈422 MiB сверх базового RSS; худший декод 40 млн px — 131 MiB — см. «Эксперименты» | `summary.md`, `bench/*.json`, `decode-memory.txt` |
| 4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API | `docker compose run s3-init` дважды; `make s3-security` | повтор → `bootstrap ok`; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне `attachments/`, читают `attachments/*`; порт 9001 не опубликован и не отвечает | `bootstrap-rerun.txt`, `s3-security.txt` |
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | `direct-upload.e2e-spec.ts`; спайк подписи | init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; усечённый PNG и PNG, повреждённый после первых 64 KiB (оба с верным checksum) → 415, затем 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + `Retry-After` | `make-test-e2e.txt`, `presign-spike.txt` |
| 5 / трек 1: истёкший URL и уборка | `E2E_DIRECT_TTL_SHORT=1` на стенде с TTL 5 с | PUT после `expires_at` → 403, строка убрана уборщиком, complete → 404 | `direct-ttl-short.txt` |
| 5 / трек 1: сравнение трафика и RAM API на ≥2 размерах | `make bench` (0.125, 1, 9.5 MiB) | см. таблицу ниже | `summary.md`, `bench/*.json` |
Оговорка по hook'ам: `make test-persistence` и `make test-failover` подтверждают сохранность данных и
сессии; какие процессы перезапущены, видно по `StartedAt` до/после (`persistence.txt`).
`scripts/stop-one.sh` останавливает только реплику, обслужившую сессию теста (в трёх прогонах
`make test-failover` это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно
`failover-attachment.txt`.
## Эксперименты и отказы
**Методика.** Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка:
`scripts/lab4/attachments_bench.py`, closed-loop: C потоков × 5 загрузок несжимаемых PNG
(`noise_png`, разные seed — несжимаемые, поэтому декод не дешевле реальных фото), R = 3 повтора; один прогрев на конфигурацию (2 × число реплик загрузок,
не измеряется), перед каждым повтором — `POST /internal/metrics/reset` на каждой реплике. Трафик API — дельта `eth0` rx/tx из `/proc/net/dev`
контейнера; RAM — пик `process.memoryUsage().rss` с шагом 50 мс минус RSS в момент reset (Δrss);
в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: `make bench`
(`scripts/lab4/run_matrix.sh`); raw — `evidence/lab4/bench/*.json` (без токенов и URL).
**H1 (уровень 4).** Память реплики при ≥ 10 параллельных загрузках ограничена сверху конфигурацией
(`UPLOAD_MAX_IN_FLIGHT × 10 MiB + IMAGE_DECODE_MAX_CONCURRENT × ≈131 MiB` ≈ 422 MiB) и не зависит от
числа клиентов сверх этого лимита. Исходная формулировка («Δrss почти не зависит от размера файла») для
текущей версии неверна по построению: ради полного декода API держит копию тела.
**H2 (трек 1).** Прямая загрузка снимает с API передачу байтов в S3 (tx) и не требует держать соединение
клиента на время заливки; входящий трафик API она не снижает, потому что `complete` читает объект
целиком для проверки; латентность direct выше из-за трёх round trip и повторного чтения.
Результаты (`evidence/lab4/summary.md`, коммит `4badd5a`; 150 загрузок на строку при C=10, 300 при
C=20; ошибок 0):
| mode | size, MiB | C | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | p50, ms | p95, ms |
| --- | --- | --- | --- | --- | --- | --- | --- |
| direct | 0.12 | 10 | 0.13 | 0.01 | 5.25 | 72 | 120 |
| proxy | 0.12 | 10 | 0.13 | 0.13 | 3.00 | 57 | 87 |
| direct | 1.00 | 10 | 1.01 | 0.01 | 1.38 | 154 | 252 |
| proxy | 1.00 | 10 | 1.01 | 1.01 | 2.00 | 132 | 183 |
| direct | 9.50 | 10 | 9.52 | 0.01 | 83.62 | 755 | 1018 |
| proxy | 9.50 | 10 | 9.52 | 9.53 | 42.94 | 642 | 889 |
| proxy | 9.50 | 20 | 9.53 | 9.53 | 49.98 | 1336 | 1743 |
Выводы:
- **H1 подтверждена.** Рост памяти сверх базового RSS процесса (≈240–255 MiB после прогрева, включая
загруженный libvips): Δrss 26–57 MiB по повторам при proxy 9.5 MiB C=10 (медиана 43) и 28–121 MiB при
C=20 (медиана 50) — ниже границы ≈422 MiB и намного меньше ≈95/190 MiB тел в полёте на весь стенд.
Абсолютный пик RSS реплики — 311–391 MiB при лимите контейнера 768 MiB. Рост от размера файла есть
(0.12 и 1 MiB — 0.5–6 MiB, 9.5 MiB — десятки MiB): это копия тела для декода и сам декод (≈155 мс на
файл 9.5 MiB, счётчик `attachments.decode.ms`). Худший допустимый декод (40 млн пикселей) — ≈131 MiB,
измерен отдельно (`decode-memory.txt`) и в бенчмарк не входил. Δrss шумная (у одной конфигурации
разброс до 4×), поэтому разница между C=10 и C=20 не интерпретируется.
- **H2 подтверждена в новой формулировке.** API tx у direct ≈0.01 MiB против size у proxy (≈1000× для
9.5 MiB); API rx одинаков (≈size), потому что `complete` читает объект целиком. Ранняя версия, читавшая
только начало объекта, давала rx ≈0.07 MiB, но принимала повреждённые изображения — этот выигрыш был
ценой корректности и отозван. Δrss у direct 9.5 MiB выше, чем у proxy (84 против 43 MiB): объект
читается из S3 быстрее, чем приходит от клиента, и больше копий одновременно ждут декода. Латентность
direct выше на всех размерах (p50 72/154/755 против 57/132/642 мс): три запроса и повторное чтение
объекта. Выигрыш direct в этой реализации — только снятие с API исходящего трафика в S3 и времени
заливки клиентом; для полного выигрыша по rx проверку нужно вынести с API (асинхронный воркер рядом
с хранилищем) — это следующий шаг, не реализован.
- Сравнение с предыдущими прогонами (без полного декода, коммит `830e581`): p50 proxy 9.5 MiB C=10 вырос
с 239 до 642 мс, медиана Δrss — с 15.7 до 42.9 MiB. Это цена закрытия дыры в валидации.
**Ограничения измерений.** Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети;
`/proc/net/dev` реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку,
видно в tx у direct; метрики и конфигурация берутся прогонами `docker exec`, но их трафик в
измеряемое окно не входит, кроме двух чтений метрик); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные
латентности не переносимы.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| S3 остановлен (`compose stop s3`) | вложения → bounded 503; текст, история, метаданные, `/health/ready` работают | upload → 503 `unavailable` без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; строка неудачной загрузки в `deleting` (захвачена, удаление объекта не прошло) | после `start s3` и healthy download старого файла 200 с теми же байтами, новый upload 201; строка перезахвачена и убрана sweep через минуту; потерь нет |
| PostgreSQL остановлен между S3 PUT и `ready` | 503; API не знает, прошёл ли COMMIT, — ничего не удаляет; объект учтён строкой | ответ 503; после старта PG строка `pending`, объект на месте (`mc stat` — есть); после `expires_at` sweep удалил объект и строку | уборка через `expires_at` + grace; `orphans: 0`, `missing: 0` |
| COMMIT `ready` прошёл, ответ PostgreSQL потерян | объект не удаляется, клиент получает 201 | unit `attachments.service.spec.ts`: захват строки не срабатывает, `delete` не вызывается, ответ 201 `ready` | потерь нет (в стенде не воспроизводится без прокси, разрывающего соединение после COMMIT) |
| Обрыв клиента посреди загрузки (512 KiB из 2 MiB) | не остаётся ни строки, ни объекта | PUT прерывается (`S3 put failed: AbortError` в логе API, в evidence не сохранён) без ожидания тайм-аута, компенсация, строк в чате 0 | ≤10 с (предел ожидания теста; точное время не измерялось) |
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой `X-Instance-Id` для api-1 и api-2 | ≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140 |
| Restart стенда (`scripts/restart.sh`) | метаданные и оригиналы сохраняются, сессия жива | persistence PASS; `StartedAt` всех сервисов изменился | потерь нет (время до готовности отдельно не измерялось) |
| Истёкший presigned URL | PUT отвергается, заявка убирается | PUT → 403; строка убрана уборщиком; complete → 404 | TTL (5 с в прогоне) + grace 0 + период уборщика 1 с |
| Подмена байтов / размера при прямой загрузке | S3 отвергает, объект не создаётся | 400 `XAmzContentChecksumMismatch` / 403 `SignatureDoesNotMatch`; complete → 409 | заявка остаётся до TTL, клиент может доотправить |
## Ограничения и следующие шаги
- **MinIO:** закреплён образ `RELEASE.2025-09-07T16-13-09Z`; по данным, использованным при планировании,
репозиторий `minio/minio` архивирован — новых образов и исправлений не будет *(в этой сессии не
перепроверялось)*. Для продакшена потребуется замена (SeaweedFS/RustFS) или форк.
- **Полная проверка изображения стоит памяти и времени:** копия тела (≤ 10 MiB) на загрузку и декод
через libvips (нативная зависимость sharp, ≈131 MiB на худший вход). `failOn: 'warning'` строже
браузеров: файл с предупреждением libjpeg/libpng будет отвергнут (на 300 изображениях с хоста ложных
отказов не было, но выборка не репрезентативна для фото с камер). Проверяются декодируемость и
целостность, а не «безопасность для всех декодеров» — перекодирование в чистый формат не делается.
- **Direct не экономит входящий трафик API** (см. H2); это следствие проверки на API. Следующий шаг —
асинхронная проверка воркером рядом с хранилищем (`status: processing`), что требует расширения
контракта.
- **Гонка лимита заявок:** `countPendingDirect` и `insertPending` не атомарны — параллельные `init`
одного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято.
- **Загрузка, не доставленная до `ready`, видна уборщику только через grace (по умолчанию 15 мин):**
до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения.
- **Компенсация при недоступной БД ничего не удаляет:** объект остаётся до уборки
(`expires_at` + 900 с grace) — сознательный выбор: без БД нельзя отличить «COMMIT не прошёл» от «ответ
потерян», а удаление в втором случае теряет оригинал. Объект без строки (например, строку удалили
вручную) обнаружит только `make consistency` — автоматического reconciler'а нет (это трек 2).
- **Потерянный COMMIT проверен только unit-тестом** с моком репозитория: стенд не умеет разорвать
соединение PostgreSQL ровно после COMMIT (для этого нужен прокси вроде toxiproxy).
- **Таймаут загрузки** уничтожает тело (и сокет) — клиент может получить обрыв соединения вместо
ожидаемого 400 «Upload was interrupted»; строка и объект при этом компенсируются.
- **TLS нет** до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому
администрирование — только через `mc` из контейнера.
- **Не реализовано:** варианты вложений (`variants` всегда `[]`; `variant=thumbnail|crop|optimized` → 404),
delete-API вложений, WebP.
- **Подтверждено измерением:** память реплики ограничена конфигурацией и в эксперименте далеко от
лимита; direct снимает с API исходящий трафик в S3. **Опровергнуто для текущей версии:** снижение
входящего трафика API прямой загрузкой. **Остаётся гипотезой:** поведение памяти при C ≫ 20 (упор в
`UPLOAD_MAX_IN_FLIGHT`, 429) и на реальных фото, а не на шуме.