Apply completed lab 4 implementation #44

Closed
Gavrikov.V.D_1BPI23218 wants to merge 2 commits from Gavrikov.V.D_1BPI23218/mtusi2026lab4:main into main
First-time contributor

Лабораторная 4

Автор / группа: Гавриков В.Д., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ»

Что реализовано и что перенесено: Реализованы приватное S3-хранилище SeaweedFS, загрузка и скачивание PNG/JPEG-вложений, проверка MIME, размеров и содержимого, привязка вложений к чатам и сообщениям, потоковая обработка, компенсация ошибок и reconciler. Перенесены обязательные возможности lab3: API, PostgreSQL, Redis-сессии, nginx-балансировка, две API-реплики, идемпотентность, failover и persistence-сценарии.

Команды запуска из чистого clone:

py -3 scripts\init_secrets.py
docker compose up -d --build --wait
make test
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api-1 api-2
make test-persistence ACTION_SCRIPT=scripts/restart.sh
python3 tests/attachments_negative.py --with-docker
scripts/check-private-bucket.sh

Результаты проверок и ссылка на REPORT.md: Публичный smoke, негативные проверки вложений, failover, persistence, проверка приватности bucket, эксперимент памяти и эксперимент reconciler выполнены успешно. Подробные команды, результаты, методика и ограничения приведены в REPORT.md.

Ограничения / известные ошибки: Один Docker-host; PostgreSQL, Redis, SeaweedFS и nginx являются единичными точками отказа. SeaweedFS работает без репликации томов, поэтому потеря volume s3data означает потерю файлов. Временный файл загрузки хранится на диске API до конца запроса; ключи идемпотентности хранятся бессрочно; варианты изображений в lab4 не реализованы.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; результаты приведены в REPORT.md.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Гавриков В.Д., БПИ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» Что реализовано и что перенесено: Реализованы приватное S3-хранилище SeaweedFS, загрузка и скачивание PNG/JPEG-вложений, проверка MIME, размеров и содержимого, привязка вложений к чатам и сообщениям, потоковая обработка, компенсация ошибок и reconciler. Перенесены обязательные возможности lab3: API, PostgreSQL, Redis-сессии, nginx-балансировка, две API-реплики, идемпотентность, failover и persistence-сценарии. Команды запуска из чистого clone: ```sh py -3 scripts\init_secrets.py docker compose up -d --build --wait make test make test-failover ACTION_SCRIPT=scripts/stop-one.sh docker compose start api-1 api-2 make test-persistence ACTION_SCRIPT=scripts/restart.sh python3 tests/attachments_negative.py --with-docker scripts/check-private-bucket.sh ``` Результаты проверок и ссылка на REPORT.md: Публичный smoke, негативные проверки вложений, failover, persistence, проверка приватности bucket, эксперимент памяти и эксперимент reconciler выполнены успешно. Подробные команды, результаты, методика и ограничения приведены в `REPORT.md`. Ограничения / известные ошибки: Один Docker-host; PostgreSQL, Redis, SeaweedFS и nginx являются единичными точками отказа. SeaweedFS работает без репликации томов, поэтому потеря volume `s3data` означает потерю файлов. Временный файл загрузки хранится на диске API до конца запроса; ключи идемпотентности хранятся бессрочно; варианты изображений в lab4 не реализованы. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; результаты приведены в REPORT.md. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Gavrikov.V.D_1BPI23218 added 1 commit 2026-10-31 00:48:54 +03:00
Owner

Существенные проблемы:

  1. Недекодируемые изображения принимаются как ready. Минимальные входы: PNG 1×1 RGB с корректными CRC, но фильтром строки 5; JPEG из 27 байт с SOF/SOS/EOI, без таблиц и данных скана. Декодер отвергает оба файла. Ожидалось 415, фактически получены 201 ready и побайтное скачивание. PNG проверяется преимущественно по количеству распакованных байтов, JPEG — по структуре маркеров: ImageCheck.java:93, ImageCheck.java:157.
  2. Reconciler удаляет свежий объект при старой строке uploading. Воспроизведение: намерение возрастом 2 часа → новый S3 PUT → reconcile --apply --grace-seconds=3600. Ожидалось сохранение объекта до истечения его grace; фактически примерно через 10 секунд удалены строка и объект, GET S3 вернул 404. В этой ветке проверяется только возраст строки, без LastModified объекта: Reconciler.java:182.
Существенные проблемы: 1. Недекодируемые изображения принимаются как ready. Минимальные входы: PNG 1×1 RGB с корректными CRC, но фильтром строки 5; JPEG из 27 байт с SOF/SOS/EOI, без таблиц и данных скана. Декодер отвергает оба файла. Ожидалось 415, фактически получены 201 ready и побайтное скачивание. PNG проверяется преимущественно по количеству распакованных байтов, JPEG — по структуре маркеров: [ImageCheck.java:93](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab4/src/commit/3ed3ce07cfe2467e04baaa624744083f846ee94d/src/main/java/ru/mtusi/messenger/ImageCheck.java#L93), [ImageCheck.java:157](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab4/src/commit/3ed3ce07cfe2467e04baaa624744083f846ee94d/src/main/java/ru/mtusi/messenger/ImageCheck.java#L157). 2. Reconciler удаляет свежий объект при старой строке uploading. Воспроизведение: намерение возрастом 2 часа → новый S3 PUT → reconcile --apply --grace-seconds=3600. Ожидалось сохранение объекта до истечения его grace; фактически примерно через 10 секунд удалены строка и объект, GET S3 вернул 404. В этой ветке проверяется только возраст строки, без LastModified объекта: [Reconciler.java:182](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab4/src/commit/3ed3ce07cfe2467e04baaa624744083f846ee94d/src/main/java/ru/mtusi/messenger/Reconciler.java#L182).
Gavrikov.V.D_1BPI23218 added 1 commit 2026-10-31 10:42:45 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 15:59:56 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#44