ЛР 4 - БВТ2302 - Саргсян Сона - на 5 #139

Closed
sargsona wants to merge 1 commits from sargsona/mtusi2026lab4:solution/bvt2302-sargsyan into main
First-time contributor

Лабораторная 4

Автор / группа: Саргсян Сона / БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 «Согласованность двух хранилищ» (PostgreSQL и S3: reconciler)

Что реализовано и что перенесено:

  • Реализовано (lab4): загрузка и скачивание вложений PNG/JPEG через API; байты в приватном S3 (SeaweedFS), метаданные в PostgreSQL; потоковая загрузка без чтения файла целиком в память; проверка типа по содержимому, лимиты 10 МиБ и 40 млн пикселей, проверка имени файла; ACL по членству в чате; отдельные ограниченные S3-ключи и сеть storage без доступа снаружи; компенсация при сбое между записью в S3 и в БД; ограниченные ответы 503 при недоступном S3; миграции 003 (вложения) и 004 (состояние объекта); идемпотентный bootstrap bucket.
  • Трек 2: reconciler (src/reconciler.py): dry-run по умолчанию, удаление сирот после grace period с повторной проверкой, пометка потерянных объектов, восстановление, предохранитель --max-actions, advisory-lock.
  • Перенесено из lab2/lab3 без изменений: сессии (PostgreSQL + Valkey), идемпотентность сообщений, пагинация, graceful shutdown, 2 реплики API за HAProxy. Изменено: Argon2 ограничен 2 одновременными хешами на реплику (память контейнера).

Команды запуска из чистого clone:

  • cp .env.example .env && ./scripts/gen-secrets.sh
  • docker compose --env-file .env build migrate && docker compose --env-file .env up -d
  • make check && make test BASE_URL=http://localhost:8080
  • Тесты: python3 -m unittest student_tests.test_attachments_level4 -v, python3 student_tests/check_s3_private.py, python3 student_tests/track2_experiment.py --seed 1000 5000, python3 student_tests/upload_memory.py --concurrency 10 --output evidence/upload-memory-10.json
  • Полный порядок и все команды: REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок и ссылка на REPORT.md: см. REPORT.md в корне ветки; сырые выводы в evidence/ (smoke, persistence, failover ×2, тесты вложений, проверка приватности S3, эксперименты по памяти, трек 2).

Ограничения / известные ошибки:

  • 20 одновременных загрузок: в одном из двух прогонов 19 запросов получили 503 (вероятно, таймаут S3 под нагрузкой), в повторном все 201; требование «≥10» выполнено стабильно (см. REPORT.md).
  • PNG проверяется по структуре и CRC, содержимое zlib не распаковывается (защита от CPU-DoS).
  • Reconciler однопроцессный, держит в памяти все ключи S3; потерянные объекты помечаются missing, а не удаляются автоматически.
  • Служебные порты SeaweedFS (8888, 9333) доступны из контейнера api внутри изолированной сети storage, снаружи недоступны.
  • Valkey без персистентности, S3 и PostgreSQL по одному экземпляру (не HA).

Источники и использование ИИ: документация FastAPI, asyncpg, boto3, Pillow, SeaweedFS. Использовался ИИ-ассистент (Claude, Anthropic) для ревью кода, правок (потоковая проверка PNG, таймауты S3, reconciler, ограничение Argon2), помощи в написания тестов и экспериментов.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Саргсян Сона / БВТ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 «Согласованность двух хранилищ» (PostgreSQL и S3: reconciler) Что реализовано и что перенесено: - Реализовано (lab4): загрузка и скачивание вложений PNG/JPEG через API; байты в приватном S3 (SeaweedFS), метаданные в PostgreSQL; потоковая загрузка без чтения файла целиком в память; проверка типа по содержимому, лимиты 10 МиБ и 40 млн пикселей, проверка имени файла; ACL по членству в чате; отдельные ограниченные S3-ключи и сеть `storage` без доступа снаружи; компенсация при сбое между записью в S3 и в БД; ограниченные ответы 503 при недоступном S3; миграции 003 (вложения) и 004 (состояние объекта); идемпотентный bootstrap bucket. - Трек 2: reconciler (`src/reconciler.py`): dry-run по умолчанию, удаление сирот после grace period с повторной проверкой, пометка потерянных объектов, восстановление, предохранитель `--max-actions`, advisory-lock. - Перенесено из lab2/lab3 без изменений: сессии (PostgreSQL + Valkey), идемпотентность сообщений, пагинация, graceful shutdown, 2 реплики API за HAProxy. Изменено: Argon2 ограничен 2 одновременными хешами на реплику (память контейнера). Команды запуска из чистого clone: - `cp .env.example .env && ./scripts/gen-secrets.sh` - `docker compose --env-file .env build migrate && docker compose --env-file .env up -d` - `make check && make test BASE_URL=http://localhost:8080` - Тесты: `python3 -m unittest student_tests.test_attachments_level4 -v`, `python3 student_tests/check_s3_private.py`, `python3 student_tests/track2_experiment.py --seed 1000 5000`, `python3 student_tests/upload_memory.py --concurrency 10 --output evidence/upload-memory-10.json` - Полный порядок и все команды: REPORT.md, раздел «Запуск из чистого clone». Результаты проверок и ссылка на REPORT.md: см. `REPORT.md` в корне ветки; сырые выводы в `evidence/` (smoke, persistence, failover ×2, тесты вложений, проверка приватности S3, эксперименты по памяти, трек 2). Ограничения / известные ошибки: - 20 одновременных загрузок: в одном из двух прогонов 19 запросов получили 503 (вероятно, таймаут S3 под нагрузкой), в повторном все 201; требование «≥10» выполнено стабильно (см. REPORT.md). - PNG проверяется по структуре и CRC, содержимое zlib не распаковывается (защита от CPU-DoS). - Reconciler однопроцессный, держит в памяти все ключи S3; потерянные объекты помечаются `missing`, а не удаляются автоматически. - Служебные порты SeaweedFS (8888, 9333) доступны из контейнера api внутри изолированной сети `storage`, снаружи недоступны. - Valkey без персистентности, S3 и PostgreSQL по одному экземпляру (не HA). Источники и использование ИИ: документация FastAPI, asyncpg, boto3, Pillow, SeaweedFS. Использовался ИИ-ассистент (Claude, Anthropic) для ревью кода, правок (потоковая проверка PNG, таймауты S3, reconciler, ограничение Argon2), помощи в написания тестов и экспериментов. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
sargsona added 1 commit 2026-11-14 09:28:03 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-15 21:03:35 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#139