ЛР 4 - БПИ2303 - Морару - на 5 #43

Closed
s.s.moraru wants to merge 2 commits from s.s.moraru/mtusi2026lab4:solution/bpi2303-moraru into main
First-time contributor

Лабораторная 4

Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ»

Что реализовано и что перенесено

Из lab3 перенёс без изменений: API на TypeScript (Node 24), PostgreSQL, HAProxy, 2 реплики API, идемпотентную отправку сообщений, failover.

Добавил:

  • приватный bucket SeaweedFS за S3-шлюзом: отдельные identities admin/api/reconciler, анонимный доступ запрещён, внутренние порты SeaweedFS закрыты;
  • потоковый upload с проверкой PNG/JPEG без буферизации тела: CRC chunk-ов, лимит пикселей до распаковки, MIME по содержимому;
  • скачивание через авторизованный API, без redirect. При неудачной загрузке работает компенсация: сначала пишу pending-строку, потом объект;
  • reconciler БД ↔ S3 с grace period: stale_pending, orphan_object, missing_object, size/checksum mismatch, обратимый карантин lost.

Команды запуска из чистого clone

scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 student-tests/attachments.py --base-url http://localhost:8080
python3 student-tests/failures.py --base-url http://localhost:8080
scripts/check-s3-security.sh

Результаты проверок — REPORT.md, вывод лежит в evidence/

  • make check, make validate, make test — PASS.
  • attachments.py: 40 граничных и негативных загрузок, ни одного 5xx.
  • Persistence и failover — PASS, ни одна запись не потерялась.
  • Если S3 остановлен или завис, деградируют только вложения (503), текст работает.
  • check-s3-security.sh — PASS.
  • 40 одновременных загрузок по 9.9 MiB: пик памяти реплики 63 MiB при лимите 256 MiB.
  • Трек 2: reconciler нашёл все 9 внедрённых расхождений, параллельные загрузки во время сверки не пострадали.

Ограничения / известные ошибки

  • LB, PostgreSQL и SeaweedFS работают в одном экземпляре.
  • Потерянный объект без копии не восстановить, reconciler только помечает его lost.
  • Upload требует Content-Length, на chunked отвечает 400.

Источники: Node.js 24, pg, @aws-sdk/client-s3, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; спецификации PNG и JPEG; документация S3.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Морару С. С., БПИ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» **Что реализовано и что перенесено** Из lab3 перенёс без изменений: API на TypeScript (Node 24), PostgreSQL, HAProxy, 2 реплики API, идемпотентную отправку сообщений, failover. Добавил: - приватный bucket SeaweedFS за S3-шлюзом: отдельные identities admin/api/reconciler, анонимный доступ запрещён, внутренние порты SeaweedFS закрыты; - потоковый upload с проверкой PNG/JPEG без буферизации тела: CRC chunk-ов, лимит пикселей до распаковки, MIME по содержимому; - скачивание через авторизованный API, без redirect. При неудачной загрузке работает компенсация: сначала пишу pending-строку, потом объект; - reconciler БД ↔ S3 с grace period: stale_pending, orphan_object, missing_object, size/checksum mismatch, обратимый карантин lost. **Команды запуска из чистого clone** ```sh scripts/init-secrets.sh docker compose --env-file .env up -d --build --wait make check && make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api python3 student-tests/attachments.py --base-url http://localhost:8080 python3 student-tests/failures.py --base-url http://localhost:8080 scripts/check-s3-security.sh ``` **Результаты проверок** — [REPORT.md](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab4/src/branch/solution/bpi2303-moraru/REPORT.md), вывод лежит в `evidence/` - `make check`, `make validate`, `make test` — PASS. - `attachments.py`: 40 граничных и негативных загрузок, ни одного 5xx. - Persistence и failover — PASS, ни одна запись не потерялась. - Если S3 остановлен или завис, деградируют только вложения (503), текст работает. - `check-s3-security.sh` — PASS. - 40 одновременных загрузок по 9.9 MiB: пик памяти реплики 63 MiB при лимите 256 MiB. - Трек 2: reconciler нашёл все 9 внедрённых расхождений, параллельные загрузки во время сверки не пострадали. **Ограничения / известные ошибки** - LB, PostgreSQL и SeaweedFS работают в одном экземпляре. - Потерянный объект без копии не восстановить, reconciler только помечает его `lost`. - Upload требует `Content-Length`, на chunked отвечает 400. **Источники:** Node.js 24, `pg`, `@aws-sdk/client-s3`, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; спецификации PNG и JPEG; документация S3. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
s.s.moraru added 1 commit 2026-10-31 00:39:17 +03:00
- приватный bucket SeaweedFS за S3-шлюзом, отдельные identities
  admin/api/reconciler, анонимный доступ запрещён
- потоковый upload с проверкой PNG/JPEG (CRC, распаковка со сверкой
  объёма, лимит пикселей до распаковки) без буферизации тела
- скачивание через авторизованный API; компенсация неудачной загрузки:
  сначала pending-строка, затем объект
- reconciler БД ↔ S3 с grace period: stale_pending, orphan_object,
  missing_object, size/checksum mismatch, обратимый карантин lost
- сценарии отказов S3, замер памяти загрузок, трек 2, evidence и REPORT.md
Owner

Существенные замечания

  1. Принимается JPEG без таблиц и данных скана. В src/modules/images.ts:274 завершение проверки фактически опирается на наличие EOI. Файл из 27 байт ниже получает 201 ready, затем скачивается без изменений. Pillow отвергает его как повреждённый. Ограничение декодирования JPEG автор признаёт в REPORT.md:250, но требование ЛР4 остаётся невыполненным.
  2. Принимается PNG с запрещённым фильтром строки. В src/modules/images.ts:64 распакованные данные только подсчитываются. PNG 1×1 RGB с корректными CRC и zlib, но фильтром 5, получает 201 ready. Pillow отвергает этот 69-байтный файл.
Существенные замечания 1. Принимается JPEG без таблиц и данных скана. В [src/modules/images.ts:274](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab4/src/commit/04458025fb53e39e26f0b18ca79eba2ae4ee2866/src/modules/images.ts#L274) завершение проверки фактически опирается на наличие EOI. Файл из 27 байт ниже получает 201 ready, затем скачивается без изменений. Pillow отвергает его как повреждённый. Ограничение декодирования JPEG автор признаёт в [REPORT.md:250](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab4/src/commit/04458025fb53e39e26f0b18ca79eba2ae4ee2866/REPORT.md#L250), но требование ЛР4 остаётся невыполненным. 2. Принимается PNG с запрещённым фильтром строки. В [src/modules/images.ts:64](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab4/src/commit/04458025fb53e39e26f0b18ca79eba2ae4ee2866/src/modules/images.ts#L64) распакованные данные только подсчитываются. PNG 1×1 RGB с корректными CRC и zlib, но фильтром 5, получает 201 ready. Pillow отвергает этот 69-байтный файл.
s.s.moraru added 1 commit 2026-10-31 10:31:06 +03:00
PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE
кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются
так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента,
прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан.
Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и
данных скана) теперь получают 415; добавлены тесты.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 15:59:57 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#43