7.0 KiB
Лабораторная 4
Автор / группа: Илья Тюнин / БВТ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 «Прямой upload» (presigned PUT)
Что реализовано и что перенесено:
- Перенесено из lab3: NestJS 12 + Fastify 5, PostgreSQL, Redis-сессии и кэш, идемпотентность POST сообщений, HAProxy + 2 API-реплики, хуки
restart.sh/stop-one.sh/start-replica.sh. - Стенд: MinIO (образ закреплён по digest), идемпотентный bootstrap
s3-init(приватный bucket, политикаmessenger-apiтолько наattachments/*, отдельный пользователь API), секреты через Docker secrets (make init-env), консоль MinIO отключена, порт 9001 не публикуется, корневая ФС APIread_only. - Proxy upload PNG/JPEG: потоковая передача в S3; два слоя проверки —
ImageInspector(сигнатура, структура, CRC, тип, лимит 40 млн пикселей до любого декода) и полный декод libvips/sharp (failOn: 'warning'), последний кусок уходит в S3 только после обоих; лимит 10 MiB до чтения; 201 ready только после PUT в S3 иmarkReady. - Компенсация не теряет оригинал: сначала захват строки
pending → deleting, объект удаляется только после успешного захвата; если COMMITreadyпрошёл, а ответ потерян — объект сохраняется, клиент получает 201; при недоступной БД ничего не удаляется (уборщик). - Download через API с проверкой членства в чате;
attachment_idsв сообщениях (атомарно вCREATE_ONCE_SQL, составные FK запрещают вложение другого чата); уборщик незавершённых загрузок с grace period; CLI sweep. - Недоступность S3 — деградация: вложения отвечают 503, текст, история и readiness работают.
- Трек 1:
POST /chats/{id}/attachments/direct-uploads→ presigned PUT (подписаны content-type, content-length, x-amz-checksum-sha256) →POST /attachments/{id}/complete(HEAD размера и checksum, полное чтение и декод объекта, статусrejectedдля отклонённых); расширение —contracts/extensions.openapi.json, обязательный proxy endpoint не изменён.
Команды запуска из чистого clone:
make init-env && make stand-up && make wait-ready
make check && make test && make test-e2e
make test-dependencies && make s3-security && make consistency
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
make bench
Остановка: make stand-down (тома сохраняются); удаление данных: docker compose --env-file .env down -v.
Результаты проверок и ссылка на REPORT.md: REPORT.md; вывод — evidence/lab4/.
make check— PASS;make test— PASS (make-check.txt,make-test.txt).make test-e2e: 38 passed, 8 skipped (opt-in); unit-тесты: 43 passed (включая регрессию потерянного COMMIT и декодер).make test-dependencies: 6 passed (Redis, PG, S3 down, PG down между PUT и ready — объект сохранён до уборки); короткий TTL: 9 passed.- Persistence и failover — PASS; download после остановки каждой из реплик возвращает тот же sha256.
make s3-security: 9 PASS;make consistency: orphans 0, missing 0; спайк подписи: чужие байты → S3 400/403.- Эксперимент: proxy 10×9.5 MiB — медиана пика Δrss 43 MiB, 20×9.5 MiB — 50 MiB (граница по конфигурации ≈422 MiB, пик RSS ≤ 391 из 768 MiB); худший декод 40 млн px — 131 MiB; direct снимает с API исходящий трафик (≈0.01 MiB против size), входящий одинаков (≈size), т.к. complete проверяет объект целиком.
Ограничения / известные ошибки:
- Полная проверка стоит памяти (копия тела ≤10 MiB + декод) и времени (p50 proxy 9.5 MiB вырос с 239 до 642 мс); direct не экономит входящий трафик API — нужна асинхронная проверка рядом с хранилищем.
- Потерянный ответ COMMIT проверен unit-тестом с моком (в стенде нет прокси, рвущего соединение после COMMIT).
- Не атомарна проверка лимита незавершённых заявок прямой загрузки (гонка параллельных init).
- Тайм-аут загрузки обрывает сокет вместо ответа 400.
- Нет автоматического reconciler'а orphan-объектов (только
make consistency), нет TLS (до lab7), нет вариантов/WebP/delete-API. - Репозиторий MinIO, вероятно, архивирован (в этой работе не перепроверялось).
Источники и использование ИИ: контракт и contracts/README.md; AWS S3 User Guide (uploads, presigned URLs, checksums); документация MinIO (mc, политики, MINIO_*_FILE); AWS SDK for JavaScript v3; спецификации PNG и JPEG. Код, тесты и эксперименты подготовлены с помощью ИИ-ассистента и проверены прогонами на стенде; ревью кода — отдельным ИИ-агентом, найденные проблемы исправлены (см. REPORT.md).
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены.
- make check и make test выполнены; приложен реальный вывод.
- Сценарии отказов/безопасности своего уровня воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- README задания сохранён, REPORT.md содержит инструкцию именно моего решения.