forked from mtusi2026/mtusi2026lab4
271 lines
33 KiB
Markdown
271 lines
33 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- **Автор, группа:** Илья Тюнин; группа — БВТ2303
|
||
- **Целевая оценка:** 5, трек 1 «Прямой upload» (presigned PUT)
|
||
- **Commit/PR:** ветка `lab4`, коммиты с префиксом `lab4: ` (стенд MinIO; конфигурация и `ObjectStorage`;
|
||
схема и потоковый валидатор; вложения и `attachment_ids`; e2e и отказы; прямая загрузка, скрипты
|
||
экспериментов). PR — после пуша ветки в origin.
|
||
- **Источники, библиотеки и помощь ИИ:** контракт `contracts/openapi.json`, `contracts/README.md`;
|
||
AWS S3 User Guide (object uploads, presigned URLs, checksums); документация MinIO (`mc`, политики,
|
||
`MINIO_*_FILE`); AWS SDK for JavaScript v3 (`@aws-sdk/client-s3` 3.1156.0, `s3-request-presigner`,
|
||
`@smithy/node-http-handler`); спецификации PNG (RFC 2083 / W3C) и JPEG (ITU-T T.81) для
|
||
потокового валидатора. Код и эксперименты подготовлены с помощью ИИ-ассистента; все числа ниже
|
||
получены прогонами на описанном стенде и лежат в `evidence/lab4/`.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Версии: Docker 29.9.1, Docker Compose v5.6.0, Node.js 25.7.0 (сборка API — образ `node:25.7.0-slim`),
|
||
Python 3.14 (проверки и харнесс; нужен ≥3.9). Образы закреплены по digest:
|
||
`minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493…8936e`,
|
||
`minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349e…1727`, `postgres:16.4-alpine`,
|
||
`redis:7.4.2-alpine`, `haproxy:3.2-alpine`. Хост — Fedora, 8 логических CPU, 16 GiB RAM.
|
||
|
||
```sh
|
||
git clone <origin> lab4 && cd lab4
|
||
make init-env # создаёт .env (пароль PG, METRICS_TOKEN) и secrets/* (root и API-credentials MinIO); идемпотентно, значения не печатает
|
||
make stand-up # docker compose up -d --build --wait: postgres, redis, s3, s3-init, migrate, api x2, haproxy
|
||
make wait-ready # GET /health/ready через LB
|
||
make test # публичный smoke (через LB)
|
||
make check # оффлайн-проверка структуры контракта
|
||
make test-e2e # black-box набор: app / attachments / direct-upload (нужны loopback-порты PG, Redis, MinIO)
|
||
make test-dependencies # отказы Redis/PG/S3 (останавливают контейнеры стенда и возвращают их)
|
||
make s3-security # приватность bucket и права API-credentials вне API
|
||
make consistency # сверка bucket и БД (orphans / missing)
|
||
make bench # матрица экспериментов, пишет evidence/lab4/bench/*.json и summary.md
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
|
||
```
|
||
|
||
Действия оператора: только `make init-env` (секреты создаются локально в `secrets/`, каталог в
|
||
`.gitignore`; `secrets/` и `.env` нельзя коммитить). Остановка с сохранением данных — `make stand-down`
|
||
(тома `postgres-data`, `redis-data`, `s3-data` сохраняются). **Намеренное удаление учебных данных:**
|
||
`docker compose --env-file .env down -v` (удаляет все три тома, включая загруженные файлы; следующий
|
||
`make stand-up` создаёт пустую схему и заново идемпотентно настраивает bucket).
|
||
|
||
Короткий TTL для проверки истёкшего URL: `DIRECT_UPLOAD_URL_TTL_SECONDS=5 ATTACHMENT_SWEEP_GRACE_SECONDS=0
|
||
ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps api`, затем
|
||
`E2E_DIRECT_TTL_SHORT=1 scripts/app-e2e.sh direct-upload`, затем вернуть стенд тем же `up -d --no-deps api`
|
||
без переменных.
|
||
|
||
## Архитектура и решения
|
||
|
||
```
|
||
клиент ──► HAProxy ──► API × 2 ──► PostgreSQL (метаданные, связи, идемпотентность)
|
||
│ ├──► Redis (сессии, кэш истории)
|
||
│ └──► MinIO (s3) (байты оригиналов, приватный bucket)
|
||
клиент ───────────── presigned PUT (трек 1) ───► MinIO (минуя API)
|
||
```
|
||
|
||
- **Источник истины:** метаданные и связи «сообщение ↔ вложение» — PostgreSQL (`attachments`,
|
||
`message_attachments`); байты — только в bucket по ключу `attachments/<uuid>/original`. Имя файла
|
||
хранится для отображения и никогда не попадает в ключ или путь. На API нет локального файла
|
||
оригинала: корневая ФС контейнера `read_only: true`, `/tmp` — tmpfs 16 MiB
|
||
(`evidence/lab4/readonly-api.txt`).
|
||
- **Жизненный цикл строки:** `pending` (байты не подтверждены) → `ready` (видна участникам чата) или
|
||
`deleting` (захвачена уборщиком) → строка удалена. Публично существуют только `ready`.
|
||
Инварианты в БД: составные FK `(chat_id, owner_id) → chat_members` и
|
||
`(attachment_id, chat_id) → attachments(id, chat_id)` делают «вложение другого чата» невозможным;
|
||
`CHECK` требует size/sha256/width/height у `ready` и `expires_at` у незавершённых; FK
|
||
`message_attachments → attachments` без каскада запрещает удалить вложение, на которое ссылается
|
||
сообщение, а каскад удаления чата проходит.
|
||
- **Когда честно 201 (proxy):** только после того, как S3 принял весь объект (`PutObject` завершён) и
|
||
`UPDATE … SET status='ready' WHERE status='pending'` изменил строку. Этот `UPDATE` проигрывает
|
||
захвату уборщиком атомарно (строка уже `deleting` → 503, а не фальшивый 201).
|
||
- **S3 PUT прошёл, а COMMIT нет:** строка остаётся `pending`, объект есть. Запрос сначала пытается
|
||
компенсировать (`DeleteObject`, затем `DELETE … WHERE status='pending'`); если не удалось
|
||
(PG/S3 недоступны) — счётчик `attachments.compensation_deferred`, строка остаётся и через
|
||
`expires_at + ATTACHMENT_SWEEP_GRACE_SECONDS` её убирает уборщик (удаляет объект, затем строку).
|
||
Сверка: `make consistency`. Наблюдение — `dependency-failures` «compensates the S3 write when
|
||
PostgreSQL fails before ready».
|
||
- **Потоковая обработка (proxy):** тело читается как поток и сразу идёт в S3 с заранее известным
|
||
`Content-Length` (≤ 10 MiB, иначе 413 до чтения). Параллельно `ImageInspector` (байтовый автомат
|
||
PNG/JPEG, без декодирования и без буферизации тела) проверяет сигнатуру, структуру, CRC чанков PNG
|
||
и число пикселей (≤ 40 млн, 413). До появления заголовка (≤ 1 MiB) нет ни строки, ни объекта.
|
||
Последний кусок отдаётся в S3 только после `inspector.finish()` — S3 не получит полное тело
|
||
невалидного файла и не зафиксирует объект. Ограничители: `UPLOAD_MAX_IN_FLIGHT` (429 +
|
||
`Retry-After`), `UPLOAD_TIMEOUT_MS` (жёсткий дедлайн запроса), тайм-ауты S3-клиента.
|
||
Fastify `bodyLimit` к `image/*` не применяется: контент-парсеры отдают сырой поток (для
|
||
`text/plain` встроенный буферизующий парсер заменён — иначе бинарное тело давало 400).
|
||
- **Прямая загрузка (трек 1):** `POST /api/v1/chats/{id}/attachments/direct-uploads` создаёт строку
|
||
`pending` (`expires_at = now + TTL`) и возвращает presigned PUT. Подписаны `content-type`,
|
||
`content-length` и `x-amz-checksum-sha256`: S3 сам отвергает тело другого размера (403
|
||
`SignatureDoesNotMatch`) или с другим SHA-256 (400 `XAmzContentChecksumMismatch`), объект при этом
|
||
не создаётся (`evidence/lab4/presign-spike.txt`). `POST /api/v1/attachments/{id}/complete`
|
||
(только владелец): `HEAD` (размер + подписанный checksum), чтение заголовка изображения (диапазон
|
||
до 1 MiB, поток обрывается после получения заголовка), сверка типа и пикселей, `markReady`.
|
||
Любое несоответствие → компенсация и 409/413/415; повторный `complete` готового — 200. Лимит
|
||
незавершённых заявок на пользователя: `DIRECT_UPLOAD_MAX_PENDING_PER_USER` (429 с `Retry-After`).
|
||
Перезапись по тому же URL до истечения TTL возможна только теми же байтами (checksum подписан).
|
||
Расширение контракта: `contracts/extensions.openapi.json`; обязательный proxy endpoint не менялся.
|
||
- **Почему volume реплики ≠ объектное хранилище:** файл в volume одной реплики недоступен другой,
|
||
теряется при пересоздании контейнера и не масштабируется; здесь байты лежат в общем MinIO со своим
|
||
томом, поэтому download через любую реплику возвращает тот же объект
|
||
(`evidence/lab4/failover-attachment.txt`).
|
||
- **Почему случайный ключ и приватный bucket не заменяют ACL приложения:** ключ — не секрет (он
|
||
может утечь через логи, presigned URL, дамп БД), а bucket приватен для всех, кроме API. Решение
|
||
«кто из пользователей видит вложение» принимает только приложение: каждый запрос метаданных и
|
||
content проверяет членство в чате (`findVisible`), посторонний получает 404; у bucket нет
|
||
понятия «участник чата».
|
||
- **Недоступность S3 — деградация, не отказ готовности:** S3 не входит в `/health/ready`;
|
||
вложения отвечают bounded `503 unavailable`, а текст, чаты, история, метаданные продолжают работать.
|
||
Так реплики не уходят из ротации LB из-за зависимости, нужной лишь части функций.
|
||
- **Секреты:** `secrets/*` монтируются как Docker secrets; MinIO читает root через
|
||
`MINIO_ROOT_USER_FILE`/`MINIO_ROOT_PASSWORD_FILE`, API — через `S3_*_FILE`. У API отдельный
|
||
пользователь с политикой `messenger-api`: `Get/Put/DeleteObject` только на `attachments/*` и
|
||
`ListBucket` (чтобы отсутствующий ключ давал 404, а не 403). `migrate` S3-секретов не получает
|
||
(`parseDatabaseConfig`). Консоль MinIO отключена (`MINIO_BROWSER=off`), порт 9001 не публикуется,
|
||
порт API S3 `9000` опубликован только на loopback (`S3_PUBLIC_BIND=127.0.0.1`) — нужен клиенту
|
||
presigned URL и тестам.
|
||
|
||
Что перенесено из lab3: приложение NestJS/Fastify, HAProxy, Redis-сессии, идемпотентность, хуки.
|
||
Изменено: `messages.attachment_ids` (в `CREATE_ONCE_SQL` проверка и вставка ссылок в том же операторе,
|
||
что и сообщение и ключ идемпотентности; отпечаток текстовых сообщений совпадает с lab3), пустой
|
||
`text` допустим при наличии вложений, метрики (`add`, пики памяти с шагом 50 мс), заголовок
|
||
`Retry-After` у 429.
|
||
|
||
### Соответствие `.env.example` → конфигурация
|
||
|
||
| Переменная | Где читается | Назначение |
|
||
| --- | --- | --- |
|
||
| `S3_ENDPOINT`, `S3_PUBLIC_ENDPOINT` | `ObjectStorage` (клиент `internal` / клиент подписи) | сетевой адрес для API / хост в presigned URL |
|
||
| `S3_REGION`, `S3_BUCKET` | `ObjectStorage`, `infra/minio/bootstrap.sh` | регион подписи; имя bucket |
|
||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `resolveSecret` → `S3_ACCESS_KEY_ID`/`S3_SECRET_ACCESS_KEY` | API-credentials из Docker secrets |
|
||
| `S3_CONNECT_TIMEOUT_MS`, `S3_REQUEST_TIMEOUT_MS` | `NodeHttpHandler` | тайм-ауты S3-клиента |
|
||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `AttachmentsService`, `DirectUploadsService` | 10 MiB, 40 млн пикселей |
|
||
| `UPLOAD_TIMEOUT_MS`, `UPLOAD_MAX_IN_FLIGHT` | `AttachmentsService` | дедлайн запроса и число одновременных proxy-загрузок на реплику |
|
||
| `ATTACHMENT_SWEEP_INTERVAL_MS`, `ATTACHMENT_SWEEP_GRACE_SECONDS` | `AttachmentSweeper`, CLI | период фонового прохода (0 = выкл.) и grace после `expires_at` |
|
||
| `DIRECT_UPLOAD_URL_TTL_SECONDS`, `DIRECT_UPLOAD_MAX_PENDING_PER_USER` | `DirectUploadsService` | TTL подписи; лимит незавершённых заявок |
|
||
| `S3_PUBLIC_BIND`, `S3_PUBLIC_PORT`, `S3_CPUS`, `S3_MEMORY` | `compose.yaml` (сервис `s3`) | публикация порта на loopback; лимиты контейнера |
|
||
| `minio_root_*`, `s3_api_*` | `secrets/*` → `compose.yaml` secrets | credentials; создаются `scripts/init-env.sh` |
|
||
|
||
Остальные переменные (`DATABASE_URL`, `REDIS_URL`, `METRICS_TOKEN`, лимиты, порты) — как в lab3.
|
||
|
||
### Компенсация, сверка, очистка (grace period)
|
||
|
||
`expires_at` у proxy = старт + `UPLOAD_TIMEOUT_MS` (жёсткий дедлайн запроса), у direct = выдача URL + TTL.
|
||
Уборщик берёт строку только через `ATTACHMENT_SWEEP_GRACE_SECONDS` (900 с по умолчанию) после этого:
|
||
живую загрузку он не застанет, а `markReady … WHERE status='pending'` проигрывает захвату
|
||
(`pending → deleting`, `FOR UPDATE SKIP LOCKED`, реплики не мешают друг другу). Застрявшая в
|
||
`deleting` строка (упавший уборщик) перезахватывается через минуту. Ручной запуск:
|
||
`docker compose exec api node dist/attachments/attachments-sweep.cli.js`. Сверка в обе стороны (только
|
||
чтение): `make consistency` — `orphans` (объект без строки) и `missing` (`ready` без объекта).
|
||
Отсутствующий объект у `ready`-строки при download — это потеря данных: 500 и счётчик
|
||
`attachments.object_missing`, а не клиентская ошибка.
|
||
|
||
## Доказательства критериев
|
||
|
||
Все файлы — в `evidence/lab4/`; в них нет `.env`, токенов, секретов и подписанных URL.
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `make test` | `PASS: lab4 public API scenario` (upload 201 ready, сообщение с `''` и `attachment_ids`, download bob = байты, eve 404) | `make-test.txt` |
|
||
| Контракт offline | `make check` | PASS, `contracts/extensions.openapi.json` — валидный JSON | `make-check.txt` |
|
||
| 3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket | `make stand-up`; `docker compose ps`; `make consistency` | `s3` healthy, `s3-init` завершён с 0; bucket приватный (`mc anonymous set none`); число объектов в bucket = числу `ready`-строк (1308 после серии `make bench` и e2e), orphans/missing = 0 | `bootstrap-rerun.txt`, `consistency.txt` |
|
||
| 3: 201 ready, побайтный download, `attachment_ids` | `make test-e2e` (`attachments.e2e-spec.ts`) | sha256 в ответе = sha256 файла; content = байты, `nosniff`, `Content-Length` | `make-test-e2e.txt` |
|
||
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как `image/jpeg` → 415, `a/b.png`, `\u202E`, NUL, 256 символов → 400, 255×😀 → 201 | все кейсы зелёные, пользовательских 500 нет | `make-test-e2e.txt`, `unit-tests.txt` (`image-inspector.spec.ts`) |
|
||
| 3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные | `scripts/stop-one.sh` (обе реплики по очереди), `make test-failover`; `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: `StartedAt` у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены | `failover.txt`, `failover-attachment.txt`, `persistence.txt` |
|
||
| 3: на API нет локального файла оригинала | `touch` в корне контейнера | `Read-only file system` | `readonly-api.txt` |
|
||
| 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата, нет 500 | `make test-e2e` | 413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 | `make-test-e2e.txt` |
|
||
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | e2e «client drops the connection»; `make test-dependencies` | обрыв клиента → строк 0 за ≤10 с; S3 down → одна `pending`, после старта и sweep — 0; PG down между PUT и ready → 503, объекта в S3 нет, `pending` убрана sweep; затем `orphans: 0, missing: 0` | `make-test-e2e.txt`, `make-test-dependencies.txt`, `consistency.txt` |
|
||
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | `make bench` (proxy, C=10 и C=20, 9.5 MiB) | max Δrss реплики 10.7 MiB при C=10 и 17.9 MiB при C=20 против 95/190 MiB тел в полёте — см. «Эксперименты» | `summary.md`, `bench/*.json` |
|
||
| 4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API | `docker compose run s3-init` дважды; `make s3-security` | повтор → `bootstrap ok`; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне `attachments/`, читают `attachments/*`; порт 9001 не опубликован и не отвечает | `bootstrap-rerun.txt`, `s3-security.txt` |
|
||
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | `direct-upload.e2e-spec.ts`; спайк подписи | init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + `Retry-After` | `make-test-e2e.txt`, `presign-spike.txt` |
|
||
| 5 / трек 1: истёкший URL и уборка | `E2E_DIRECT_TTL_SHORT=1` на стенде с TTL 5 с | PUT после `expires_at` → 403, строка убрана уборщиком, complete → 404 | `direct-ttl-short.txt` |
|
||
| 5 / трек 1: сравнение трафика и RAM API на ≥2 размерах | `make bench` (0.125, 1, 9.5 MiB) | см. таблицу ниже | `summary.md`, `bench/*.json` |
|
||
|
||
Оговорка по hook'ам: `make test-persistence` и `make test-failover` подтверждают сохранность данных и
|
||
сессии; какие процессы перезапущены, видно по `StartedAt` до/после (`persistence.txt`).
|
||
`scripts/stop-one.sh` останавливает только реплику, обслужившую сессию теста (в трёх прогонах
|
||
`make test-failover` это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно
|
||
`failover-attachment.txt`.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**Методика.** Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на
|
||
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка:
|
||
`scripts/lab4/attachments_bench.py`, closed-loop: C потоков × 5 загрузок несжимаемых PNG
|
||
(`noise_png`, разные seed), R = 3 повтора, перед каждым повтором — прогрев (не измеряется) и
|
||
`POST /internal/metrics/reset` на каждой реплике. Трафик API — дельта `eth0` rx/tx из `/proc/net/dev`
|
||
контейнера; RAM — пик `process.memoryUsage().rss` с шагом 50 мс минус RSS в момент reset (Δrss);
|
||
в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: `make bench`
|
||
(`scripts/lab4/run_matrix.sh`); raw — `evidence/lab4/bench/*.json` (без токенов и URL).
|
||
|
||
**H1 (уровень 4).** Потоковый proxy держит рост пикового RSS реплики ограниченным и почти независимым
|
||
от размера файла: Δrss при 10 × 9.5 MiB много меньше суммарного объёма тел в полёте.
|
||
|
||
**H2 (трек 1).** Прямая загрузка снижает трафик API на загрузку с ≈2 × size (вход от клиента + выход в
|
||
S3) до малой величины, не зависящей от размера, и не растит RSS; латентность малых файлов у direct
|
||
выше из-за трёх round trip.
|
||
|
||
Результаты (`evidence/lab4/summary.md`; 150 загрузок на строку при C=10, 300 при C=20; ошибок 0):
|
||
|
||
| mode | size, MiB | C | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | p50, ms | p95, ms |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| direct | 0.12 | 10 | 0.13 | 0.01 | 0.62 | 42 | 62 |
|
||
| proxy | 0.12 | 10 | 0.13 | 0.13 | 3.75 | 26 | 53 |
|
||
| direct | 1.00 | 10 | 1.01 | 0.01 | 3.88 | 69 | 100 |
|
||
| proxy | 1.00 | 10 | 1.01 | 1.01 | 5.12 | 44 | 79 |
|
||
| direct | 9.50 | 10 | 0.14 | 0.01 | 0.25 | 377 | 493 |
|
||
| proxy | 9.50 | 10 | 9.53 | 9.53 | 10.65 | 212 | 374 |
|
||
| proxy | 9.50 | 20 | 9.53 | 9.53 | 17.92 | 414 | 802 |
|
||
|
||
Выводы:
|
||
|
||
- **H1 подтверждена с оговоркой.** При C=10 и 9.5 MiB пик Δrss — 10.7 MiB при ≈95 MiB тел в полёте; при
|
||
C=20 — 17.9 MiB при ≈190 MiB. Память не пропорциональна размеру файла (размер ×76: 0.12 → 9.5 MiB
|
||
дал Δrss 3.75 → 10.65 MiB, ×2.8), но и не строго постоянна: растёт слабо с размером и с
|
||
concurrency (буферы сокетов, чанки в полёте, аллокатор). Δrss — шумная величина (между повторами одной
|
||
конфигурации 9.0–13.4 MiB для proxy 9.5 MiB C=10 и 2.0–5.5 MiB для proxy 1 MiB).
|
||
- **H2 подтверждена частично.** Для proxy tx ≈ rx ≈ size (≈2 × size суммарно: вход от клиента и выход
|
||
в S3). Для direct при size > 1 MiB API видит ≈0.14 MiB rx (заголовок изображения) и ≈0.01 MiB tx
|
||
независимо от размера, Δrss ≈ 0. **Для size ≤ 1 MiB direct не снижает входящий трафик API:**
|
||
`complete` читает диапазон до `IMAGE_HEADER_MAX_BYTES` = 1 MiB, и если он покрывает весь объект,
|
||
файл дочитывается до конца для `finish()` (структурная проверка) — rx = size (0.13 и 1.01 MiB);
|
||
выигрыш только по tx (≈0.01 против size). Латентность direct выше при малых/средних файлах
|
||
(p50 42 против 26 мс, 69 против 44 мс — три запроса вместо одного) и выше на 9.5 MiB
|
||
(377 против 212 мс): клиент заливает через loopback в MinIO с лимитом 1 CPU, а не через API; прирост
|
||
не объясняется в эксперименте и остаётся гипотезой (вероятно, проверка подписи и checksum в MinIO).
|
||
|
||
**Ограничения измерений.** Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети;
|
||
`/proc/net/dev` реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку,
|
||
видно в tx у direct); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
|
||
пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные
|
||
латентности не переносимы.
|
||
|
||
### Отказы
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| S3 остановлен (`compose stop s3`) | вложения → bounded 503; текст, история, метаданные, `/health/ready` работают | upload → 503 `unavailable` без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; одна `pending`-строка неудачной загрузки | после `start s3` и healthy download старого файла 200 с теми же байтами, новый upload 201; `pending` убрана sweep; потерь нет |
|
||
| PostgreSQL остановлен между S3 PUT и `ready` | 503; объект не должен остаться | ответ 503; объект в S3 компенсирован (`mc stat` — нет), `pending`-строка осталась (БД недоступна) | после старта PG и `waitForReadiness`; строка убрана sweep после `expires_at`; `orphans: 0` |
|
||
| Обрыв клиента посреди загрузки (512 KiB из 2 MiB) | не остаётся ни строки, ни объекта | `AbortError` у PUT (без ожидания тайм-аута), компенсация, строк в чате 0 | ≤10 с (предел ожидания теста; точное время не измерялось) |
|
||
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой `X-Instance-Id` для api-1 и api-2 | ≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140 |
|
||
| Restart стенда (`scripts/restart.sh`) | метаданные и оригиналы сохраняются, сессия жива | persistence PASS; `StartedAt` всех сервисов изменился | весь прогон `make test-persistence` — 11 с; потерь нет |
|
||
| Истёкший presigned URL | PUT отвергается, заявка убирается | PUT → 403; строка убрана уборщиком; complete → 404 | TTL (5 с в прогоне) + grace 0 + период уборщика 1 с |
|
||
| Подмена байтов / размера при прямой загрузке | S3 отвергает, объект не создаётся | 400 `XAmzContentChecksumMismatch` / 403 `SignatureDoesNotMatch`; complete → 409 | заявка остаётся до TTL, клиент может доотправить |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- **MinIO:** закреплён образ `RELEASE.2025-09-07T16-13-09Z`; по данным, использованным при планировании,
|
||
репозиторий `minio/minio` архивирован — новых образов и исправлений не будет *(в этой сессии не
|
||
перепроверялось)*. Для продакшена потребуется замена (SeaweedFS/RustFS) или форк.
|
||
- **Прямой путь не проверяет структуру хвоста файла** при size > 1 MiB: только заголовок (до 1 MiB) и
|
||
подписанный SHA-256/размер. Байты гарантированно те, что заявил клиент, но заявил он их сам;
|
||
усечённый или «склеенный» файл с корректным заголовком пройдёт `complete`. В proxy-режиме проверяется
|
||
весь поток (CRC чанков PNG, EOI JPEG). Для size ≤ 1 MiB direct проверяет всё, ценой входящего
|
||
трафика API.
|
||
- **Гонка лимита заявок:** `countPendingDirect` и `insertPending` не атомарны — параллельные `init`
|
||
одного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято.
|
||
- **Загрузка, не доставленная до `ready`, видна уборщику только через grace (по умолчанию 15 мин):**
|
||
до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения.
|
||
- **Недоступность S3 при `compensate`** оставляет объект, если сам `DeleteObject` не прошёл; его
|
||
убирает уборщик, но объект без строки (если строка уже удалена вручную) обнаружит только
|
||
`make consistency` — автоматического reconciler'а для orphan-объектов без строки нет (это трек 2).
|
||
- **TLS нет** до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому
|
||
администрирование — только через `mc` из контейнера.
|
||
- **Не реализовано:** варианты вложений (`variants` всегда `[]`; `variant=thumbnail|crop|optimized` → 404),
|
||
delete-API вложений, WebP.
|
||
- **Подтверждено измерением:** потоковый proxy ограничивает память, direct уменьшает tx API и rx API для
|
||
файлов > 1 MiB. **Остаётся гипотезой:** причина роста латентности direct на 9.5 MiB; зависимость Δrss от
|
||
concurrency за пределами C=20.
|