ЛР4 — Пинаев — БПИ2302 — оценка 5 #107

Open
qrtx wants to merge 1 commits from qrtx/mtusi2026lab4:solution/BPI2302-pinaev into main
First-time contributor

Целевая оценка: 5, трек 1 — прямой upload по presigned URL.

Что реализовано:

  • REST API мессенджера на NestJS/Fastify и TypeScript; сохранены пользователи, чаты, сообщения, Bearer-сессии, пагинация, согласованный кеш и общая идемпотентность из предыдущей лабораторной.
  • PostgreSQL для данных, сессий, ключей идемпотентности, метаданных вложений и разрешений direct upload; Redis для общего кеша; приватный RustFS 1.0.4 для оригиналов файлов.
  • Две API-реплики за Nginx с least_conn, без sticky sessions; X-Instance-Id, liveness/readiness, проверки готовности и graceful shutdown.
  • Обязательная загрузка PNG/JPEG через API: проверка filename, MIME по содержимому, полного декодирования, размера до 10 MiB и количества пикселей до 40 млн. Ответ 201 ready после сохранения оригинала и метаданных.
  • Авторизованное потоковое скачивание оригинала через API без redirect, проверка SHA-256 и побайтовой сохранности. Вложения привязаны к чату и передаются в attachment_ids сообщения; посторонний и файл другого чата получают 404.
  • Отдельный безопасный presigned-upload flow: короткая подпись, уникальный staging-ключ, фиксированные размер/MIME/checksum и create-only PUT. При complete проверяются владелец, доступ к чату, срок разрешения, реальные байты и изображение; публикация выполняется условным серверным COPY.
  • Идемпотентный complete и защита опубликованного оригинала от повторного PUT. API читает staging потоком во временный файл; после проверки временный файл удаляется.
  • Компенсация и фоновая сверка БД/S3: advisory-блокировки, grace 10 минут, пауза 60 секунд между проходами, dry-run/apply, очистка orphan и просроченного staging, диагностика missing без удаления метаданных.
  • Раздельные ограниченные S3 credentials API и сверщика; root только у RustFS/bootstrap. Bucket приватен, консоль выключена; отдельный localhost-listener Nginx пропускает только presigned PUT/OPTIONS в staging.
  • Один Docker Compose, именованные volumes, SQL-миграции, идемпотентный bootstrap, Swagger и hooks перезапуска/остановки выбранной API. Явные ограничения CPU/RAM контейнеров и heap сборки не задавались.
  • Общий таймаут приёма тела и обработка обрывов.
  • Исследование трафика и RSS API на двух размерах PNG, сравнение нагрузки 1/5/10 и подробный разбор Sharp, Buffer, кеша и сборки мусора. Исходные результаты сохранены в evidence/.

Подтверждённое улучшение: direct flow примерно вдвое сократил RX+TX API для файлов 0,75 и 9,19 MiB. При десяти одновременных больших загрузках пик RSS одной API-реплики снизился на 17–20%: с 370–379 до 296–313 MiB в двух раундах с обратным порядком режимов. Все 128 загрузок и 128 проверочных скачиваний прошли без ошибок, OOM и рестартов API внутри серии.

Проверки: все 14 наборов в evidence/final-regression.json завершились PASS; прошли 47 unit-тестов и линтер, образы собраны. Проверены публичные smoke/persistence/failover, отказ каждой API, Swagger, ACL и лимиты, недоступность S3, падение writer между PUT и БД, сверка/очистка, обрывы и deadline, presigned flow и ограниченные S3-роли.

Ограничения: один Docker-host, один PostgreSQL, Redis, RustFS и Nginx. Генератор делит ресурсы с приложением; короткие closed-loop волны с pacing не определяют предельную производительность. RSS измеряется периодически, быстрые пики могли быть пропущены. Полная проверка изображения через Sharp остаётся и при direct upload.

Отчёт: REPORT.md.

Целевая оценка: **5, трек 1 — прямой upload по presigned URL**. **Что реализовано:** - REST API мессенджера на NestJS/Fastify и TypeScript; сохранены пользователи, чаты, сообщения, Bearer-сессии, пагинация, согласованный кеш и общая идемпотентность из предыдущей лабораторной. - PostgreSQL для данных, сессий, ключей идемпотентности, метаданных вложений и разрешений direct upload; Redis для общего кеша; приватный RustFS 1.0.4 для оригиналов файлов. - Две API-реплики за Nginx с `least_conn`, без sticky sessions; `X-Instance-Id`, liveness/readiness, проверки готовности и graceful shutdown. - Обязательная загрузка PNG/JPEG через API: проверка filename, MIME по содержимому, полного декодирования, размера до 10 MiB и количества пикселей до 40 млн. Ответ `201 ready` после сохранения оригинала и метаданных. - Авторизованное потоковое скачивание оригинала через API без redirect, проверка SHA-256 и побайтовой сохранности. Вложения привязаны к чату и передаются в `attachment_ids` сообщения; посторонний и файл другого чата получают 404. - Отдельный безопасный presigned-upload flow: короткая подпись, уникальный staging-ключ, фиксированные размер/MIME/checksum и create-only PUT. При complete проверяются владелец, доступ к чату, срок разрешения, реальные байты и изображение; публикация выполняется условным серверным COPY. - Идемпотентный complete и защита опубликованного оригинала от повторного PUT. API читает staging потоком во временный файл; после проверки временный файл удаляется. - Компенсация и фоновая сверка БД/S3: advisory-блокировки, grace 10 минут, пауза 60 секунд между проходами, dry-run/apply, очистка orphan и просроченного staging, диагностика missing без удаления метаданных. - Раздельные ограниченные S3 credentials API и сверщика; root только у RustFS/bootstrap. Bucket приватен, консоль выключена; отдельный localhost-listener Nginx пропускает только presigned PUT/OPTIONS в staging. - Один Docker Compose, именованные volumes, SQL-миграции, идемпотентный bootstrap, Swagger и hooks перезапуска/остановки выбранной API. Явные ограничения CPU/RAM контейнеров и heap сборки не задавались. - Общий таймаут приёма тела и обработка обрывов. - Исследование трафика и RSS API на двух размерах PNG, сравнение нагрузки 1/5/10 и подробный разбор Sharp, Buffer, кеша и сборки мусора. Исходные результаты сохранены в `evidence/`. **Подтверждённое улучшение:** direct flow примерно вдвое сократил RX+TX API для файлов 0,75 и 9,19 MiB. При десяти одновременных больших загрузках пик RSS одной API-реплики снизился на **17–20%**: с **370–379 до 296–313 MiB** в двух раундах с обратным порядком режимов. Все **128 загрузок и 128 проверочных скачиваний** прошли без ошибок, OOM и рестартов API внутри серии. **Проверки:** все **14 наборов** в [evidence/final-regression.json](evidence/final-regression.json) завершились PASS; прошли **47 unit-тестов** и линтер, образы собраны. Проверены публичные smoke/persistence/failover, отказ каждой API, Swagger, ACL и лимиты, недоступность S3, падение writer между PUT и БД, сверка/очистка, обрывы и deadline, presigned flow и ограниченные S3-роли. **Ограничения:** один Docker-host, один PostgreSQL, Redis, RustFS и Nginx. Генератор делит ресурсы с приложением; короткие closed-loop волны с pacing не определяют предельную производительность. RSS измеряется периодически, быстрые пики могли быть пропущены. Полная проверка изображения через Sharp остаётся и при direct upload. Отчёт: [REPORT.md](REPORT.md).
qrtx added 1 commit 2026-11-12 10:39:25 +03:00
Add two API replicas, safe object reconciliation, upload validation, regression tests and documented load experiments.
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/qrtx/mtusi2026lab4 solution/BPI2302-pinaev:qrtx-solution/BPI2302-pinaev
git checkout qrtx-solution/BPI2302-pinaev
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#107