ЛР4 — Каменский Андрей— БПИ2301 — оценка 5 (трек 2) #117

Closed
gonne wants to merge 2 commits from gonne/mtusi2026lab4:main into main
First-time contributor

Лабораторная 4: S3-хранилище и вложения

Автор / группа: Каменский Андрей, БПИ2301.
Целевая оценка: 5. Трек 2 — согласованность двух хранилищ.

Реализация

Обязательная основа приложения: PostgreSQL, Redis-сессии с TTL/AOF, два API за HAProxy, контракт
авторизации, пагинация и общая идемпотентность. Добавлены приватный MinIO,
метаданные Attachment, до 10 вложений в сообщении, raw PNG/JPEG upload и
авторизованный побайтный download. Проверяются размер до 10 MiB, MIME по содержимому,
целостность, безопасный filename и не более 40 млн пикселей включительно.

Миграции до 008 и bootstrap запускаются отдельными задачами. Две декларативные
S3-политики хранятся в infra/s3 и копируются в Docker-образ. API и reconciler
получают разные ограниченные S3-права; owner credentials отсутствуют в API.
Публикуется только LB, консоль MinIO выключена. MinIO собирается из закреплённого
исходного commit, поэтому отсутствующий готовый образ не блокирует сборку.

Перед PUT отдельно коммитится журнал pending. Advisory lock на ключ удерживается
до общего COMMIT Attachment/committed. Worker сверяет наш bucket/prefix постранично,
пропускает активные и свежие файлы, закрывает зависшие попытки и удаляет orphan.
Dry-run не меняет БД/S3. Missing-оригиналы отмечаются с сохранением сообщений;
восстановление подтверждается размером и SHA-256. Ошибка DELETE не исключает
объект из дальнейшей очистки.

Запуск и проверки

python3 scripts/setup-env.py
docker compose up -d --build --wait
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-student.txt
make -f student.mk verify-lab4 PYTHON=.venv/bin/python

Инфраструктурные проверки выполняются последовательно на локальном учебном стенде.
Сохранность проверяется с прежним токеном и доказательствами StartedAt до/после API,
PostgreSQL, Redis и MinIO. Чистый запуск использует отдельный UUID-проект, пустые
volumes и полный снимок исходников, включая новые файлы; API строится с --no-cache.

Сводка: evidence/lab4-final-summary.json; подробный вывод —
evidence/lab4-final-*.txt, чистый старт — evidence/lab4-clean-start.json.
Отчёт и методика: REPORT.md,
LAB4_RECONCILIATION.md.

Ограничения

Нет автоматического восстановления потерянных байтов из backup. Поддерживается
неверсионируемый bucket и штатные писатели, соблюдающие блокировки. Хранилища,
LB и host остаются едиными точками отказа. Последовательный обход имеет линейную
стоимость; локальные измерения не задают production SLA. Журнал/наблюдения сохраняют
историю без автоматического сокращения. Применение любых исправлений перепроверяет
состояние, а не слепо выполняет ранее выведенный план dry-run.

  • Обязательное API lab4 и прежние возможности сохранены.
  • Оригинал, ACL, failover и restart проверены.
  • Негативные случаи и замечания преподавателя покрыты проверками.
  • Ограниченные S3-роли и приватность bucket проверены реальными запросами.
  • Трек 2 имеет гипотезу, сценарии сбоев, повторяемые измерения и ограничения.
  • Секреты не входят в исходники сдачи; .env создаётся локально.
  • Использование Codex и первичные источники указаны в REPORT.md.
## Лабораторная 4: S3-хранилище и вложения Автор / группа: **Каменский Андрей, БПИ2301**. Целевая оценка: **5**. Трек **2 — согласованность двух хранилищ**. ### Реализация Обязательная основа приложения: PostgreSQL, Redis-сессии с TTL/AOF, два API за HAProxy, контракт авторизации, пагинация и общая идемпотентность. Добавлены приватный MinIO, метаданные Attachment, до 10 вложений в сообщении, raw PNG/JPEG upload и авторизованный побайтный download. Проверяются размер до 10 MiB, MIME по содержимому, целостность, безопасный filename и не более 40 млн пикселей включительно. Миграции до 008 и bootstrap запускаются отдельными задачами. Две декларативные S3-политики хранятся в infra/s3 и копируются в Docker-образ. API и reconciler получают разные ограниченные S3-права; owner credentials отсутствуют в API. Публикуется только LB, консоль MinIO выключена. MinIO собирается из закреплённого исходного commit, поэтому отсутствующий готовый образ не блокирует сборку. Перед PUT отдельно коммитится журнал pending. Advisory lock на ключ удерживается до общего COMMIT Attachment/committed. Worker сверяет наш bucket/prefix постранично, пропускает активные и свежие файлы, закрывает зависшие попытки и удаляет orphan. Dry-run не меняет БД/S3. Missing-оригиналы отмечаются с сохранением сообщений; восстановление подтверждается размером и SHA-256. Ошибка DELETE не исключает объект из дальнейшей очистки. ### Запуск и проверки ```sh python3 scripts/setup-env.py docker compose up -d --build --wait python3 -m venv .venv .venv/bin/python -m pip install -r requirements-student.txt make -f student.mk verify-lab4 PYTHON=.venv/bin/python ``` Инфраструктурные проверки выполняются последовательно на локальном учебном стенде. Сохранность проверяется с прежним токеном и доказательствами StartedAt до/после API, PostgreSQL, Redis и MinIO. Чистый запуск использует отдельный UUID-проект, пустые volumes и полный снимок исходников, включая новые файлы; API строится с --no-cache. Сводка: `evidence/lab4-final-summary.json`; подробный вывод — `evidence/lab4-final-*.txt`, чистый старт — `evidence/lab4-clean-start.json`. Отчёт и методика: [REPORT.md](STUDENT_REPORT.md), [LAB4_RECONCILIATION.md](LAB4_RECONCILIATION.md). ### Ограничения Нет автоматического восстановления потерянных байтов из backup. Поддерживается неверсионируемый bucket и штатные писатели, соблюдающие блокировки. Хранилища, LB и host остаются едиными точками отказа. Последовательный обход имеет линейную стоимость; локальные измерения не задают production SLA. Журнал/наблюдения сохраняют историю без автоматического сокращения. Применение любых исправлений перепроверяет состояние, а не слепо выполняет ранее выведенный план dry-run. - [x] Обязательное API lab4 и прежние возможности сохранены. - [x] Оригинал, ACL, failover и restart проверены. - [x] Негативные случаи и замечания преподавателя покрыты проверками. - [x] Ограниченные S3-роли и приватность bucket проверены реальными запросами. - [x] Трек 2 имеет гипотезу, сценарии сбоев, повторяемые измерения и ограничения. - [x] Секреты не входят в исходники сдачи; .env создаётся локально. - [x] Использование Codex и первичные источники указаны в REPORT.md.
gonne added 2 commits 2026-11-12 20:00:48 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 13:47:10 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#117