forked from mtusi2026/mtusi2026lab4
51 lines
7.8 KiB
Markdown
51 lines
7.8 KiB
Markdown
## Лабораторная 4
|
||
|
||
Автор / группа: Илья Тюнин / БВТ2303
|
||
Целевая оценка (3/4/5): 5
|
||
Трек 5, если заявлен: трек 1 «Прямой upload» (presigned PUT)
|
||
|
||
Что реализовано и что перенесено:
|
||
- Перенесено из lab3: NestJS 12 + Fastify 5, PostgreSQL, Redis-сессии и кэш, идемпотентность POST сообщений, HAProxy + 2 API-реплики, хуки `restart.sh` / `stop-one.sh` / `start-replica.sh`.
|
||
- Стенд: MinIO (образ закреплён по digest), идемпотентный bootstrap `s3-init` (приватный bucket, политика `messenger-api` только на `attachments/*`, отдельный пользователь API), секреты через Docker secrets (`make init-env`), консоль MinIO отключена, порт 9001 не публикуется, корневая ФС API `read_only`.
|
||
- Proxy upload PNG/JPEG: потоковая передача в S3; два слоя проверки — `ImageInspector` (сигнатура, структура, CRC, тип, лимит 40 млн пикселей до любого декода) и полный декод libvips/sharp (`failOn: 'warning'`, один декод на реплику, принимаются снимки до 40 Мп включая RGBA16), последний кусок уходит в S3 только после обоих; тип проверяется после аутентификации (401 раньше 415); лимит 10 MiB до чтения; 201 ready только после PUT в S3 и `markReady`.
|
||
- Компенсация не теряет оригинал: сначала захват строки `pending → deleting`, объект удаляется только после успешного захвата; если COMMIT `ready` прошёл, а ответ потерян — объект сохраняется, клиент получает 201; при недоступной БД ничего не удаляется (уборщик).
|
||
- Download через API с проверкой членства в чате; `attachment_ids` в сообщениях (атомарно в `CREATE_ONCE_SQL`, составные FK запрещают вложение другого чата); уборщик незавершённых загрузок с grace period; CLI sweep.
|
||
- Недоступность S3 — деградация: вложения отвечают 503, текст, история и readiness работают.
|
||
- Трек 1: `POST /chats/{id}/attachments/direct-uploads` → presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) → `POST /attachments/{id}/complete` (HEAD размера и checksum, полное чтение и декод объекта с дедлайном, статус `rejected` для отклонённых, параллельные complete идемпотентны); расширение — `contracts/extensions.openapi.json`, обязательный proxy endpoint не изменён.
|
||
|
||
Команды запуска из чистого clone:
|
||
```sh
|
||
make init-env && make stand-up && make wait-ready
|
||
make check && make test && make test-e2e
|
||
make test-dependencies && make s3-security && make consistency
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
|
||
make bench
|
||
```
|
||
Остановка: `make stand-down` (тома сохраняются); удаление данных: `docker compose --env-file .env down -v`.
|
||
|
||
Результаты проверок и ссылка на REPORT.md: [REPORT.md](../REPORT.md); вывод — `evidence/lab4/`.
|
||
- `make check` — PASS; `make test` — PASS (`make-check.txt`, `make-test.txt`).
|
||
- `make test-e2e`: 44 passed, 9 skipped (opt-in); unit-тесты: 48 passed (регрессия потерянного COMMIT, декодер, лимиты слотов).
|
||
- `make test-dependencies`: 7 passed (Redis, PG, S3 остановлен, S3 завис — 503 за ≤ 20 с, PG down между PUT и ready — объект сохранён до уборки); короткий TTL: 10 passed.
|
||
- Persistence и failover — PASS; download после остановки каждой из реплик возвращает тот же sha256.
|
||
- `make s3-security`: 9 PASS; `make consistency`: orphans 0, missing 0; спайк подписи: чужие байты → S3 400/403.
|
||
- Эксперимент: proxy 10×9.5 MiB — медиана пика Δrss 20 MiB, 20×9.5 MiB — 43 MiB; худший случай (32 клиента, 40 Мп RGBA16 Adam7, 10 MiB) — пик RSS 791 из 1024 MiB без OOM, все отказы — 429; худший декод в контейнере — 338 MiB; direct снимает с API исходящий трафик (≈0.01 MiB против size), входящий одинаков (≈size), т.к. complete проверяет объект целиком.
|
||
|
||
Ограничения / известные ошибки:
|
||
- Полная проверка стоит памяти (копия тела ≤10 MiB + декод до 338 MiB, поэтому декод по одному и 1 GiB на реплику) и времени под потоком тяжёлых изображений; изменённый байт в сжатых данных baseline JPEG может пройти (у JPEG нет контрольной суммы); direct не экономит входящий трафик API — нужна асинхронная проверка рядом с хранилищем.
|
||
- Потерянный ответ COMMIT проверен unit-тестом с моком (в стенде нет прокси, рвущего соединение после COMMIT).
|
||
- Не атомарна проверка лимита незавершённых заявок прямой загрузки (гонка параллельных init).
|
||
- Тайм-аут загрузки обрывает сокет вместо ответа 400; лимит на пользователя не защищает от медленных клиентов с многих аккаунтов.
|
||
- Нет автоматического reconciler'а orphan-объектов (только `make consistency`), нет TLS (до lab7), нет вариантов/WebP/delete-API.
|
||
- Репозиторий MinIO, вероятно, архивирован (в этой работе не перепроверялось).
|
||
|
||
Источники и использование ИИ: контракт и `contracts/README.md`; AWS S3 User Guide (uploads, presigned URLs, checksums); документация MinIO (`mc`, политики, `MINIO_*_FILE`); AWS SDK for JavaScript v3; спецификации PNG и JPEG. Код, тесты и эксперименты подготовлены с помощью ИИ-ассистента и проверены прогонами на стенде; ревью кода — отдельным ИИ-агентом, найденные проблемы исправлены (см. REPORT.md).
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|