Files
mtusi2026lab4/REPORT.md
T

271 lines
33 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- **Автор, группа:** Илья Тюнин; группа — БВТ2303
- **Целевая оценка:** 5, трек 1 «Прямой upload» (presigned PUT)
- **Commit/PR:** ветка `lab4`, коммиты с префиксом `lab4: ` (стенд MinIO; конфигурация и `ObjectStorage`;
схема и потоковый валидатор; вложения и `attachment_ids`; e2e и отказы; прямая загрузка, скрипты
экспериментов). PR — после пуша ветки в origin.
- **Источники, библиотеки и помощь ИИ:** контракт `contracts/openapi.json`, `contracts/README.md`;
AWS S3 User Guide (object uploads, presigned URLs, checksums); документация MinIO (`mc`, политики,
`MINIO_*_FILE`); AWS SDK for JavaScript v3 (`@aws-sdk/client-s3` 3.1156.0, `s3-request-presigner`,
`@smithy/node-http-handler`); спецификации PNG (RFC 2083 / W3C) и JPEG (ITU-T T.81) для
потокового валидатора. Код и эксперименты подготовлены с помощью ИИ-ассистента; все числа ниже
получены прогонами на описанном стенде и лежат в `evidence/lab4/`.
## Запуск из чистого clone
Версии: Docker 29.9.1, Docker Compose v5.6.0, Node.js 25.7.0 (сборка API — образ `node:25.7.0-slim`),
Python 3.14 (проверки и харнесс; нужен ≥3.9). Образы закреплены по digest:
`minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493…8936e`,
`minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349e…1727`, `postgres:16.4-alpine`,
`redis:7.4.2-alpine`, `haproxy:3.2-alpine`. Хост — Fedora, 8 логических CPU, 16 GiB RAM.
```sh
git clone <origin> lab4 && cd lab4
make init-env # создаёт .env (пароль PG, METRICS_TOKEN) и secrets/* (root и API-credentials MinIO); идемпотентно, значения не печатает
make stand-up # docker compose up -d --build --wait: postgres, redis, s3, s3-init, migrate, api x2, haproxy
make wait-ready # GET /health/ready через LB
make test # публичный smoke (через LB)
make check # оффлайн-проверка структуры контракта
make test-e2e # black-box набор: app / attachments / direct-upload (нужны loopback-порты PG, Redis, MinIO)
make test-dependencies # отказы Redis/PG/S3 (останавливают контейнеры стенда и возвращают их)
make s3-security # приватность bucket и права API-credentials вне API
make consistency # сверка bucket и БД (orphans / missing)
make bench # матрица экспериментов, пишет evidence/lab4/bench/*.json и summary.md
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
```
Действия оператора: только `make init-env` (секреты создаются локально в `secrets/`, каталог в
`.gitignore`; `secrets/` и `.env` нельзя коммитить). Остановка с сохранением данных — `make stand-down`
(тома `postgres-data`, `redis-data`, `s3-data` сохраняются). **Намеренное удаление учебных данных:**
`docker compose --env-file .env down -v` (удаляет все три тома, включая загруженные файлы; следующий
`make stand-up` создаёт пустую схему и заново идемпотентно настраивает bucket).
Короткий TTL для проверки истёкшего URL: `DIRECT_UPLOAD_URL_TTL_SECONDS=5 ATTACHMENT_SWEEP_GRACE_SECONDS=0
ATTACHMENT_SWEEP_INTERVAL_MS=1000 docker compose --env-file .env up -d --no-deps api`, затем
`E2E_DIRECT_TTL_SHORT=1 scripts/app-e2e.sh direct-upload`, затем вернуть стенд тем же `up -d --no-deps api`
без переменных.
## Архитектура и решения
```
клиент ──► HAProxy ──► API × 2 ──► PostgreSQL (метаданные, связи, идемпотентность)
│ ├──► Redis (сессии, кэш истории)
│ └──► MinIO (s3) (байты оригиналов, приватный bucket)
клиент ───────────── presigned PUT (трек 1) ───► MinIO (минуя API)
```
- **Источник истины:** метаданные и связи «сообщение ↔ вложение» — PostgreSQL (`attachments`,
`message_attachments`); байты — только в bucket по ключу `attachments/<uuid>/original`. Имя файла
хранится для отображения и никогда не попадает в ключ или путь. На API нет локального файла
оригинала: корневая ФС контейнера `read_only: true`, `/tmp` — tmpfs 16 MiB
(`evidence/lab4/readonly-api.txt`).
- **Жизненный цикл строки:** `pending` (байты не подтверждены) → `ready` (видна участникам чата) или
`deleting` (захвачена уборщиком) → строка удалена. Публично существуют только `ready`.
Инварианты в БД: составные FK `(chat_id, owner_id) → chat_members` и
`(attachment_id, chat_id) → attachments(id, chat_id)` делают «вложение другого чата» невозможным;
`CHECK` требует size/sha256/width/height у `ready` и `expires_at` у незавершённых; FK
`message_attachments → attachments` без каскада запрещает удалить вложение, на которое ссылается
сообщение, а каскад удаления чата проходит.
- **Когда честно 201 (proxy):** только после того, как S3 принял весь объект (`PutObject` завершён) и
`UPDATE … SET status='ready' WHERE status='pending'` изменил строку. Этот `UPDATE` проигрывает
захвату уборщиком атомарно (строка уже `deleting` → 503, а не фальшивый 201).
- **S3 PUT прошёл, а COMMIT нет:** строка остаётся `pending`, объект есть. Запрос сначала пытается
компенсировать (`DeleteObject`, затем `DELETE … WHERE status='pending'`); если не удалось
(PG/S3 недоступны) — счётчик `attachments.compensation_deferred`, строка остаётся и через
`expires_at + ATTACHMENT_SWEEP_GRACE_SECONDS` её убирает уборщик (удаляет объект, затем строку).
Сверка: `make consistency`. Наблюдение — `dependency-failures` «compensates the S3 write when
PostgreSQL fails before ready».
- **Потоковая обработка (proxy):** тело читается как поток и сразу идёт в S3 с заранее известным
`Content-Length` (≤ 10 MiB, иначе 413 до чтения). Параллельно `ImageInspector` (байтовый автомат
PNG/JPEG, без декодирования и без буферизации тела) проверяет сигнатуру, структуру, CRC чанков PNG
и число пикселей (≤ 40 млн, 413). До появления заголовка (≤ 1 MiB) нет ни строки, ни объекта.
Последний кусок отдаётся в S3 только после `inspector.finish()` — S3 не получит полное тело
невалидного файла и не зафиксирует объект. Ограничители: `UPLOAD_MAX_IN_FLIGHT` (429 +
`Retry-After`), `UPLOAD_TIMEOUT_MS` (жёсткий дедлайн запроса), тайм-ауты S3-клиента.
Fastify `bodyLimit` к `image/*` не применяется: контент-парсеры отдают сырой поток (для
`text/plain` встроенный буферизующий парсер заменён — иначе бинарное тело давало 400).
- **Прямая загрузка (трек 1):** `POST /api/v1/chats/{id}/attachments/direct-uploads` создаёт строку
`pending` (`expires_at = now + TTL`) и возвращает presigned PUT. Подписаны `content-type`,
`content-length` и `x-amz-checksum-sha256`: S3 сам отвергает тело другого размера (403
`SignatureDoesNotMatch`) или с другим SHA-256 (400 `XAmzContentChecksumMismatch`), объект при этом
не создаётся (`evidence/lab4/presign-spike.txt`). `POST /api/v1/attachments/{id}/complete`
(только владелец): `HEAD` (размер + подписанный checksum), чтение заголовка изображения (диапазон
до 1 MiB, поток обрывается после получения заголовка), сверка типа и пикселей, `markReady`.
Любое несоответствие → компенсация и 409/413/415; повторный `complete` готового — 200. Лимит
незавершённых заявок на пользователя: `DIRECT_UPLOAD_MAX_PENDING_PER_USER` (429 с `Retry-After`).
Перезапись по тому же URL до истечения TTL возможна только теми же байтами (checksum подписан).
Расширение контракта: `contracts/extensions.openapi.json`; обязательный proxy endpoint не менялся.
- **Почему volume реплики ≠ объектное хранилище:** файл в volume одной реплики недоступен другой,
теряется при пересоздании контейнера и не масштабируется; здесь байты лежат в общем MinIO со своим
томом, поэтому download через любую реплику возвращает тот же объект
(`evidence/lab4/failover-attachment.txt`).
- **Почему случайный ключ и приватный bucket не заменяют ACL приложения:** ключ — не секрет (он
может утечь через логи, presigned URL, дамп БД), а bucket приватен для всех, кроме API. Решение
«кто из пользователей видит вложение» принимает только приложение: каждый запрос метаданных и
content проверяет членство в чате (`findVisible`), посторонний получает 404; у bucket нет
понятия «участник чата».
- **Недоступность S3 — деградация, не отказ готовности:** S3 не входит в `/health/ready`;
вложения отвечают bounded `503 unavailable`, а текст, чаты, история, метаданные продолжают работать.
Так реплики не уходят из ротации LB из-за зависимости, нужной лишь части функций.
- **Секреты:** `secrets/*` монтируются как Docker secrets; MinIO читает root через
`MINIO_ROOT_USER_FILE`/`MINIO_ROOT_PASSWORD_FILE`, API — через `S3_*_FILE`. У API отдельный
пользователь с политикой `messenger-api`: `Get/Put/DeleteObject` только на `attachments/*` и
`ListBucket` (чтобы отсутствующий ключ давал 404, а не 403). `migrate` S3-секретов не получает
(`parseDatabaseConfig`). Консоль MinIO отключена (`MINIO_BROWSER=off`), порт 9001 не публикуется,
порт API S3 `9000` опубликован только на loopback (`S3_PUBLIC_BIND=127.0.0.1`) — нужен клиенту
presigned URL и тестам.
Что перенесено из lab3: приложение NestJS/Fastify, HAProxy, Redis-сессии, идемпотентность, хуки.
Изменено: `messages.attachment_ids` (в `CREATE_ONCE_SQL` проверка и вставка ссылок в том же операторе,
что и сообщение и ключ идемпотентности; отпечаток текстовых сообщений совпадает с lab3), пустой
`text` допустим при наличии вложений, метрики (`add`, пики памяти с шагом 50 мс), заголовок
`Retry-After` у 429.
### Соответствие `.env.example` → конфигурация
| Переменная | Где читается | Назначение |
| --- | --- | --- |
| `S3_ENDPOINT`, `S3_PUBLIC_ENDPOINT` | `ObjectStorage` (клиент `internal` / клиент подписи) | сетевой адрес для API / хост в presigned URL |
| `S3_REGION`, `S3_BUCKET` | `ObjectStorage`, `infra/minio/bootstrap.sh` | регион подписи; имя bucket |
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | `resolveSecret` → `S3_ACCESS_KEY_ID`/`S3_SECRET_ACCESS_KEY` | API-credentials из Docker secrets |
| `S3_CONNECT_TIMEOUT_MS`, `S3_REQUEST_TIMEOUT_MS` | `NodeHttpHandler` | тайм-ауты S3-клиента |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | `AttachmentsService`, `DirectUploadsService` | 10 MiB, 40 млн пикселей |
| `UPLOAD_TIMEOUT_MS`, `UPLOAD_MAX_IN_FLIGHT` | `AttachmentsService` | дедлайн запроса и число одновременных proxy-загрузок на реплику |
| `ATTACHMENT_SWEEP_INTERVAL_MS`, `ATTACHMENT_SWEEP_GRACE_SECONDS` | `AttachmentSweeper`, CLI | период фонового прохода (0 = выкл.) и grace после `expires_at` |
| `DIRECT_UPLOAD_URL_TTL_SECONDS`, `DIRECT_UPLOAD_MAX_PENDING_PER_USER` | `DirectUploadsService` | TTL подписи; лимит незавершённых заявок |
| `S3_PUBLIC_BIND`, `S3_PUBLIC_PORT`, `S3_CPUS`, `S3_MEMORY` | `compose.yaml` (сервис `s3`) | публикация порта на loopback; лимиты контейнера |
| `minio_root_*`, `s3_api_*` | `secrets/*` → `compose.yaml` secrets | credentials; создаются `scripts/init-env.sh` |
Остальные переменные (`DATABASE_URL`, `REDIS_URL`, `METRICS_TOKEN`, лимиты, порты) — как в lab3.
### Компенсация, сверка, очистка (grace period)
`expires_at` у proxy = старт + `UPLOAD_TIMEOUT_MS` (жёсткий дедлайн запроса), у direct = выдача URL + TTL.
Уборщик берёт строку только через `ATTACHMENT_SWEEP_GRACE_SECONDS` (900 с по умолчанию) после этого:
живую загрузку он не застанет, а `markReady … WHERE status='pending'` проигрывает захвату
(`pending → deleting`, `FOR UPDATE SKIP LOCKED`, реплики не мешают друг другу). Застрявшая в
`deleting` строка (упавший уборщик) перезахватывается через минуту. Ручной запуск:
`docker compose exec api node dist/attachments/attachments-sweep.cli.js`. Сверка в обе стороны (только
чтение): `make consistency` — `orphans` (объект без строки) и `missing` (`ready` без объекта).
Отсутствующий объект у `ready`-строки при download — это потеря данных: 500 и счётчик
`attachments.object_missing`, а не клиентская ошибка.
## Доказательства критериев
Все файлы — в `evidence/lab4/`; в них нет `.env`, токенов, секретов и подписанных URL.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab4 public API scenario` (upload 201 ready, сообщение с `''` и `attachment_ids`, download bob = байты, eve 404) | `make-test.txt` |
| Контракт offline | `make check` | PASS, `contracts/extensions.openapi.json` — валидный JSON | `make-check.txt` |
| 3: S3 в общем стенде, приватный bucket, метаданные в PG, байты в bucket | `make stand-up`; `docker compose ps`; `make consistency` | `s3` healthy, `s3-init` завершён с 0; bucket приватный (`mc anonymous set none`); число объектов в bucket = числу `ready`-строк (1308 после серии `make bench` и e2e), orphans/missing = 0 | `bootstrap-rerun.txt`, `consistency.txt` |
| 3: 201 ready, побайтный download, `attachment_ids` | `make test-e2e` (`attachments.e2e-spec.ts`) | sha256 в ответе = sha256 файла; content = байты, `nosniff`, `Content-Length` | `make-test-e2e.txt` |
| 3: PNG/JPEG ≤10 MiB и ≤40 млн px; MIME по содержимому; опасные filename; лимиты до чтения | e2e: 10485760 → 201, 10485761 → 413, pixel bomb 8000×5001 → 413 сразу после IHDR, PNG как `image/jpeg` → 415, `a/b.png`, `\u202E`, NUL, 256 символов → 400, 255×😀 → 201 | все кейсы зелёные, пользовательских 500 нет | `make-test-e2e.txt`, `unit-tests.txt` (`image-inspector.spec.ts`) |
| 3: другая реплика отдаёт файл после остановки загрузившей; restart сохраняет данные | `scripts/stop-one.sh` (обе реплики по очереди), `make test-failover`; `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | failover: 0 неуспешных попыток, восстановление ≈3.3 с; download с тем же sha256 после остановки api-1 и api-2; persistence: `StartedAt` у postgres, redis, s3, api×2, haproxy изменился, данные и сессия сохранены | `failover.txt`, `failover-attachment.txt`, `persistence.txt` |
| 3: на API нет локального файла оригинала | `touch` в корне контейнера | `Read-only file system` | `readonly-api.txt` |
| 4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата, нет 500 | `make test-e2e` | 413; усечённый PNG, флип байта (CRC), сигнатура+мусор, пустое тело → 415; подмена MIME → 415; чужое/неизвестное/незавершённое → 404; вложение чата eve в чате alice → 404 | `make-test-e2e.txt` |
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | e2e «client drops the connection»; `make test-dependencies` | обрыв клиента → строк 0 за ≤10 с; S3 down → одна `pending`, после старта и sweep — 0; PG down между PUT и ready → 503, объекта в S3 нет, `pending` убрана sweep; затем `orphans: 0, missing: 0` | `make-test-e2e.txt`, `make-test-dependencies.txt`, `consistency.txt` |
| 4: лимиты, таймауты, потоковая обработка; эксперимент ≥10 загрузок с пиком памяти | `make bench` (proxy, C=10 и C=20, 9.5 MiB) | max Δrss реплики 10.7 MiB при C=10 и 17.9 MiB при C=20 против 95/190 MiB тел в полёте — см. «Эксперименты» | `summary.md`, `bench/*.json` |
| 4: идемпотентный bootstrap; отдельные ограниченные credentials; консоль закрыта; private bucket вне API | `docker compose run s3-init` дважды; `make s3-security` | повтор → `bootstrap ok`; анонимные GET/list/PUT → 403; API-credentials не создают bucket, не вызывают admin, не пишут вне `attachments/`, читают `attachments/*`; порт 9001 не опубликован и не отвечает | `bootstrap-rerun.txt`, `s3-security.txt` |
| 5 / трек 1: presigned flow (короткая подпись, уникальный ключ, принадлежность, размер/checksum на complete, незавершённые) | `direct-upload.e2e-spec.ts`; спайк подписи | init → PUT мимо API → complete → metadata/content → сообщение; чужой/посторонний complete → 404; подмена байта → S3 400, затем complete 409; JPEG под видом PNG → 415, затем 404; pixel bomb → 413; 11-я заявка → 429 + `Retry-After` | `make-test-e2e.txt`, `presign-spike.txt` |
| 5 / трек 1: истёкший URL и уборка | `E2E_DIRECT_TTL_SHORT=1` на стенде с TTL 5 с | PUT после `expires_at` → 403, строка убрана уборщиком, complete → 404 | `direct-ttl-short.txt` |
| 5 / трек 1: сравнение трафика и RAM API на ≥2 размерах | `make bench` (0.125, 1, 9.5 MiB) | см. таблицу ниже | `summary.md`, `bench/*.json` |
Оговорка по hook'ам: `make test-persistence` и `make test-failover` подтверждают сохранность данных и
сессии; какие процессы перезапущены, видно по `StartedAt` до/после (`persistence.txt`).
`scripts/stop-one.sh` останавливает только реплику, обслужившую сессию теста (в трёх прогонах
`make test-failover` это была одна и та же реплика), поэтому остановка обеих реплик показана отдельно
`failover-attachment.txt`.
## Эксперименты и отказы
**Методика.** Хост: 8 логических CPU, 16 GiB RAM, один Docker-хост. Лимиты: API 1.5 CPU / 768 MiB на
реплику (2 реплики), MinIO 1 CPU / 512 MiB, PG 1.5 CPU / 512 MiB. Версии — см. «Запуск». Нагрузка:
`scripts/lab4/attachments_bench.py`, closed-loop: C потоков × 5 загрузок несжимаемых PNG
(`noise_png`, разные seed), R = 3 повтора, перед каждым повтором — прогрев (не измеряется) и
`POST /internal/metrics/reset` на каждой реплике. Трафик API — дельта `eth0` rx/tx из `/proc/net/dev`
контейнера; RAM — пик `process.memoryUsage().rss` с шагом 50 мс минус RSS в момент reset (Δrss);
в таблицу идёт медиана по повторам, для Δrss — максимум по репликам. Команда: `make bench`
(`scripts/lab4/run_matrix.sh`); raw — `evidence/lab4/bench/*.json` (без токенов и URL).
**H1 (уровень 4).** Потоковый proxy держит рост пикового RSS реплики ограниченным и почти независимым
от размера файла: Δrss при 10 × 9.5 MiB много меньше суммарного объёма тел в полёте.
**H2 (трек 1).** Прямая загрузка снижает трафик API на загрузку с ≈2 × size (вход от клиента + выход в
S3) до малой величины, не зависящей от размера, и не растит RSS; латентность малых файлов у direct
выше из-за трёх round trip.
Результаты (`evidence/lab4/summary.md`; 150 загрузок на строку при C=10, 300 при C=20; ошибок 0):
| mode | size, MiB | C | API rx/upload, MiB | API tx/upload, MiB | max Δrss, MiB | p50, ms | p95, ms |
| --- | --- | --- | --- | --- | --- | --- | --- |
| direct | 0.12 | 10 | 0.13 | 0.01 | 0.62 | 42 | 62 |
| proxy | 0.12 | 10 | 0.13 | 0.13 | 3.75 | 26 | 53 |
| direct | 1.00 | 10 | 1.01 | 0.01 | 3.88 | 69 | 100 |
| proxy | 1.00 | 10 | 1.01 | 1.01 | 5.12 | 44 | 79 |
| direct | 9.50 | 10 | 0.14 | 0.01 | 0.25 | 377 | 493 |
| proxy | 9.50 | 10 | 9.53 | 9.53 | 10.65 | 212 | 374 |
| proxy | 9.50 | 20 | 9.53 | 9.53 | 17.92 | 414 | 802 |
Выводы:
- **H1 подтверждена с оговоркой.** При C=10 и 9.5 MiB пик Δrss — 10.7 MiB при ≈95 MiB тел в полёте; при
C=20 — 17.9 MiB при ≈190 MiB. Память не пропорциональна размеру файла (размер ×76: 0.12 → 9.5 MiB
дал Δrss 3.75 → 10.65 MiB, ×2.8), но и не строго постоянна: растёт слабо с размером и с
concurrency (буферы сокетов, чанки в полёте, аллокатор). Δrss — шумная величина (между повторами одной
конфигурации 9.0–13.4 MiB для proxy 9.5 MiB C=10 и 2.0–5.5 MiB для proxy 1 MiB).
- **H2 подтверждена частично.** Для proxy tx ≈ rx ≈ size (≈2 × size суммарно: вход от клиента и выход
в S3). Для direct при size > 1 MiB API видит ≈0.14 MiB rx (заголовок изображения) и ≈0.01 MiB tx
независимо от размера, Δrss ≈ 0. **Для size ≤ 1 MiB direct не снижает входящий трафик API:**
`complete` читает диапазон до `IMAGE_HEADER_MAX_BYTES` = 1 MiB, и если он покрывает весь объект,
файл дочитывается до конца для `finish()` (структурная проверка) — rx = size (0.13 и 1.01 MiB);
выигрыш только по tx (≈0.01 против size). Латентность direct выше при малых/средних файлах
(p50 42 против 26 мс, 69 против 44 мс — три запроса вместо одного) и выше на 9.5 MiB
(377 против 212 мс): клиент заливает через loopback в MinIO с лимитом 1 CPU, а не через API; прирост
не объясняется в эксперименте и остаётся гипотезой (вероятно, проверка подписи и checksum в MinIO).
**Ограничения измерений.** Один Docker-хост: клиент, LB, API и MinIO делят 8 CPU, без реальной сети;
`/proc/net/dev` реплики включает трафик PG/Redis и служебные запросы метрик (≈7–8 KiB на загрузку,
видно в tx у direct); closed-loop клиент не моделирует arrival rate; выборка RSS 50 мс может
пропустить короткий пик; нет TLS (до lab7); Python-клиент сам ограничен по CPU, поэтому абсолютные
латентности не переносимы.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| S3 остановлен (`compose stop s3`) | вложения → bounded 503; текст, история, метаданные, `/health/ready` работают | upload → 503 `unavailable` без утечки деталей; метаданные 200; content 503; текстовое сообщение 201; readiness 200; одна `pending`-строка неудачной загрузки | после `start s3` и healthy download старого файла 200 с теми же байтами, новый upload 201; `pending` убрана sweep; потерь нет |
| PostgreSQL остановлен между S3 PUT и `ready` | 503; объект не должен остаться | ответ 503; объект в S3 компенсирован (`mc stat` — нет), `pending`-строка осталась (БД недоступна) | после старта PG и `waitForReadiness`; строка убрана sweep после `expires_at`; `orphans: 0` |
| Обрыв клиента посреди загрузки (512 KiB из 2 MiB) | не остаётся ни строки, ни объекта | `AbortError` у PUT (без ожидания тайм-аута), компенсация, строк в чате 0 | ≤10 с (предел ожидания теста; точное время не измерялось) |
| Остановка обслужившей реплики | другая реплика отдаёт тот же файл | download 200, тот же sha256, другой `X-Instance-Id` для api-1 и api-2 | ≈3.3 с до первого успешного запроса, 0 неуспешных записей из 134–140 |
| Restart стенда (`scripts/restart.sh`) | метаданные и оригиналы сохраняются, сессия жива | persistence PASS; `StartedAt` всех сервисов изменился | весь прогон `make test-persistence` — 11 с; потерь нет |
| Истёкший presigned URL | PUT отвергается, заявка убирается | PUT → 403; строка убрана уборщиком; complete → 404 | TTL (5 с в прогоне) + grace 0 + период уборщика 1 с |
| Подмена байтов / размера при прямой загрузке | S3 отвергает, объект не создаётся | 400 `XAmzContentChecksumMismatch` / 403 `SignatureDoesNotMatch`; complete → 409 | заявка остаётся до TTL, клиент может доотправить |
## Ограничения и следующие шаги
- **MinIO:** закреплён образ `RELEASE.2025-09-07T16-13-09Z`; по данным, использованным при планировании,
репозиторий `minio/minio` архивирован — новых образов и исправлений не будет *(в этой сессии не
перепроверялось)*. Для продакшена потребуется замена (SeaweedFS/RustFS) или форк.
- **Прямой путь не проверяет структуру хвоста файла** при size > 1 MiB: только заголовок (до 1 MiB) и
подписанный SHA-256/размер. Байты гарантированно те, что заявил клиент, но заявил он их сам;
усечённый или «склеенный» файл с корректным заголовком пройдёт `complete`. В proxy-режиме проверяется
весь поток (CRC чанков PNG, EOI JPEG). Для size ≤ 1 MiB direct проверяет всё, ценой входящего
трафика API.
- **Гонка лимита заявок:** `countPendingDirect` и `insertPending` не атомарны — параллельные `init`
одного пользователя могут превысить лимит на число параллельных запросов; для лабораторной принято.
- **Загрузка, не доставленная до `ready`, видна уборщику только через grace (по умолчанию 15 мин):**
до этого объект занимает место; для быстрой очистки в тестах grace уменьшается переменной окружения.
- **Недоступность S3 при `compensate`** оставляет объект, если сам `DeleteObject` не прошёл; его
убирает уборщик, но объект без строки (если строка уже удалена вручную) обнаружит только
`make consistency` — автоматического reconciler'а для orphan-объектов без строки нет (это трек 2).
- **TLS нет** до lab7: presigned URL и токены ходят по HTTP; консоль MinIO отключена полностью, поэтому
администрирование — только через `mc` из контейнера.
- **Не реализовано:** варианты вложений (`variants` всегда `[]`; `variant=thumbnail|crop|optimized` → 404),
delete-API вложений, WebP.
- **Подтверждено измерением:** потоковый proxy ограничивает память, direct уменьшает tx API и rx API для
файлов > 1 MiB. **Остаётся гипотезой:** причина роста латентности direct на 9.5 MiB; зависимость Δrss от
concurrency за пределами C=20.