feat: implement S3 attachments and presigned uploads

This commit is contained in:
sinveria
2026-11-10 12:08:50 +03:00
parent aaa834e412
commit d96d4a2836
50 changed files with 3138 additions and 72 deletions
+45 -15
View File
@@ -1,18 +1,48 @@
## Лабораторная 4
## Лабораторная 4 — S3-хранилище и вложения
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
**Автор / группа:** Перевалова Виктория, БПИ2302
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
**Целевая оценка:** 5
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
**Трек:** Track 1 — Presigned Upload
### Что реализовано
- Перенесена основа предыдущей лабораторной; сохранены публичные API-сценарии и контракт.
- Реализованы Proxy Upload и Presigned Upload с проверкой членства в чате, уникальными ключами, TTL, проверкой размера, SHA-256 и фактического формата изображения при complete.
- Метаданные хранятся в PostgreSQL, бинарные данные — в приватном S3-compatible bucket.
- Добавлены cleanup незавершённых presigned-загрузок, best-effort компенсация при ошибке записи метаданных, ограниченные S3 credentials и bootstrap bucket.
- Стенд включает PostgreSQL, Redis, S3-compatible storage, миграции, Traefik и две API-реплики.
### Запуск
См. [`REPORT.md`](../REPORT.md), раздел «Запуск из чистого clone». Для локального Compose используется `.env.compose.example`; после копирования в `.env` необходимо заменить демонстрационные значения.
### Проверки и доказательства
- `scripts/check_contract.py` — PASS.
- Python compileall — PASS.
- Публичный smoke — PASS: повторно выполнен после исправления маршрутизации Traefik; результат сохранён в `evidence/smoke.txt`.
- Presigned upload, completion, idempotency и download — PASS.
- Все негативные сценарии Presigned Upload — PASS (409/415/413/404 согласно проверяемому сценарию).
- Негативные сценарии, cleanup, компенсация S3/PostgreSQL, S3 unavailable/security, persistence, attachment failover и нагрузочные эксперименты описаны в `REPORT.md`; сводки находятся в `evidence/`.
- Эксперимент Track 1 подтвердил сокращение тела запроса к API до 159 байт для файла 5,5 MiB; снижение RAM не подтверждено и не заявляется.
### Ограничения и отклонения
- Между PostgreSQL и S3 нет общей распределённой транзакции; компенсация Proxy Upload best-effort. Незарегистрированные orphan-объекты требуют отдельной сверки/lifecycle policy.
- Пиковая RAM измерялась через периодический `docker stats`; короткие пики могли быть пропущены.
- В Compose используется Silo с S3 API, хотя задание буквально перечисляет MinIO, SeaweedFS или RustFS. Это отклонение явно раскрыто в `REPORT.md`; требуется согласование с преподавателем.
### Источники и использование ИИ
Использованы исходный skeleton, контракт, документация зависимостей и материалы лабораторной. ChatGPT применялся для анализа требований, диагностики, подготовки отдельных тестов и редактирования документации. Результаты проверялись локальным запуском и тестами; ИИ не заменял выполнение проверок.
### Checklist
- [x] Контракт и публичные tests не ослаблялись ради прохождения.
- [x] Сценарии отказов и безопасности уровня 4/5 воспроизведены; результаты приложены в `evidence/`.
- [x] Локальные секреты исключены из Git через `.gitignore`; `.env` не должен добавляться в PR.
- [x] Исходный README задания сохранён, инструкция конкретной реализации находится в `REPORT.md`.
- [ ] Чистый запуск из clone и повторный `make test` после последних изменений подтверждены.
- [ ] `make validate` выполнен с `requirements-dev.txt`; приложен вывод.