lab4: evidence и отчёт после полного декода и исправления компенсации; шаблон PR

This commit is contained in:
2026-10-23 16:40:34 +03:00
parent 4badd5a7b9
commit a06471a6c6
13 changed files with 987 additions and 951 deletions
+8 -7
View File
@@ -7,10 +7,11 @@
Что реализовано и что перенесено:
- Перенесено из lab3: NestJS 12 + Fastify 5, PostgreSQL, Redis-сессии и кэш, идемпотентность POST сообщений, HAProxy + 2 API-реплики, хуки `restart.sh` / `stop-one.sh` / `start-replica.sh`.
- Стенд: MinIO (образ закреплён по digest), идемпотентный bootstrap `s3-init` (приватный bucket, политика `messenger-api` только на `attachments/*`, отдельный пользователь API), секреты через Docker secrets (`make init-env`), консоль MinIO отключена, порт 9001 не публикуется, корневая ФС API `read_only`.
- Proxy upload PNG/JPEG: потоковая передача в S3 без буферизации тела; `ImageInspector` проверяет сигнатуру, структуру и CRC, лимиты 10 MiB / 40 млн пикселей применяются до чтения; при отказе — компенсация; 201 ready только после PUT в S3 и `markReady`.
- Proxy upload PNG/JPEG: потоковая передача в S3; два слоя проверки — `ImageInspector` (сигнатура, структура, CRC, тип, лимит 40 млн пикселей до любого декода) и полный декод libvips/sharp (`failOn: 'warning'`), последний кусок уходит в S3 только после обоих; лимит 10 MiB до чтения; 201 ready только после PUT в S3 и `markReady`.
- Компенсация не теряет оригинал: сначала захват строки `pending → deleting`, объект удаляется только после успешного захвата; если COMMIT `ready` прошёл, а ответ потерян — объект сохраняется, клиент получает 201; при недоступной БД ничего не удаляется (уборщик).
- Download через API с проверкой членства в чате; `attachment_ids` в сообщениях (атомарно в `CREATE_ONCE_SQL`, составные FK запрещают вложение другого чата); уборщик незавершённых загрузок с grace period; CLI sweep.
- Недоступность S3 — деградация: вложения отвечают 503, текст, история и readiness работают.
- Трек 1: `POST /chats/{id}/attachments/direct-uploads` → presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) → `POST /attachments/{id}/complete` (HEAD + чтение заголовка изображения, статус `rejected` для отклонённых); расширение — `contracts/extensions.openapi.json`, обязательный proxy endpoint не изменён.
- Трек 1: `POST /chats/{id}/attachments/direct-uploads` → presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) → `POST /attachments/{id}/complete` (HEAD размера и checksum, полное чтение и декод объекта, статус `rejected` для отклонённых); расширение — `contracts/extensions.openapi.json`, обязательный proxy endpoint не изменён.
Команды запуска из чистого clone:
```sh
@@ -25,16 +26,16 @@ make bench
Результаты проверок и ссылка на REPORT.md: [REPORT.md](../REPORT.md); вывод — `evidence/lab4/`.
- `make check` — PASS; `make test` — PASS (`make-check.txt`, `make-test.txt`).
- `make test-e2e`: 34 passed, 8 skipped (opt-in); unit-тесты: 36 passed.
- `make test-dependencies`: 6 passed (Redis, PG, S3 down, PG down между PUT и ready).
- `make test-e2e`: 38 passed, 8 skipped (opt-in); unit-тесты: 43 passed (включая регрессию потерянного COMMIT и декодер).
- `make test-dependencies`: 6 passed (Redis, PG, S3 down, PG down между PUT и ready — объект сохранён до уборки); короткий TTL: 9 passed.
- Persistence и failover — PASS; download после остановки каждой из реплик возвращает тот же sha256.
- `make s3-security`: 9 PASS; `make consistency`: orphans 0, missing 0; спайк подписи: чужие байты → S3 400/403.
- Эксперимент: proxy 10×9.5 MiB — пик Δrss 15.7 MiB, 20×9.5 MiB — 16.5 MiB; direct — трафик API ≈0.07 MiB на загрузку при любом размере, proxy ≈2×size.
- Эксперимент: proxy 10×9.5 MiB — медиана пика Δrss 43 MiB, 20×9.5 MiB — 50 MiB (граница по конфигурации ≈422 MiB, пик RSS ≤ 391 из 768 MiB); худший декод 40 млн px — 131 MiB; direct снимает с API исходящий трафик (≈0.01 MiB против size), входящий одинаков (≈size), т.к. complete проверяет объект целиком.
Ограничения / известные ошибки:
- Прямой путь проверяет только заголовок изображения (структура хвоста файла >64 KiB не проверяется; байты зафиксированы подписанным SHA-256).
- Полная проверка стоит памяти (копия тела ≤10 MiB + декод) и времени (p50 proxy 9.5 MiB вырос с 239 до 642 мс); direct не экономит входящий трафик API — нужна асинхронная проверка рядом с хранилищем.
- Потерянный ответ COMMIT проверен unit-тестом с моком (в стенде нет прокси, рвущего соединение после COMMIT).
- Не атомарна проверка лимита незавершённых заявок прямой загрузки (гонка параллельных init).
- Порядок компенсации proxy (сначала объект, потом строка): при ложном обрыве после commit возможна потеря объекта.
- Тайм-аут загрузки обрывает сокет вместо ответа 400.
- Нет автоматического reconciler'а orphan-объектов (только `make consistency`), нет TLS (до lab7), нет вариантов/WebP/delete-API.
- Репозиторий MinIO, вероятно, архивирован (в этой работе не перепроверялось).