forked from mtusi2026/mtusi2026lab4
39 lines
3.8 KiB
Markdown
39 lines
3.8 KiB
Markdown
# Переход Lab3 → Lab4
|
||
|
||
Цель: оценка 5, трек 2 «Согласованность двух хранилищ».
|
||
|
||
| Критерий | Lab3 | Изменения Lab4 |
|
||
| --- | --- | --- |
|
||
| Две взаимозаменяемые API | HAProxy, общий PostgreSQL, сессии, Idempotency-Key | Сохранить; файлы доступны обеим API |
|
||
| Разделение данных | Сообщения в PostgreSQL | Метаданные Attachment в PostgreSQL, оригиналы в SeaweedFS |
|
||
| Загрузка | AttachmentIds отклоняются | Binary PNG/JPEG, до 10 MiB и 40 млн пикселей, 201 после S3 и COMMIT |
|
||
| Доступ | Bearer и членство в чате | Те же проверки перед метаданными, байтами и привязкой файла |
|
||
| Сообщения | Только текст | До 10 уникальных вложений; текст может быть пустым с вложениями |
|
||
| Идемпотентность | Хеш текста | Хеш текста и списка вложений, атомарно с сообщением |
|
||
| Проверка файлов | Отсутствует | MIME по содержимому, декодирование, опасные имена, лимиты до выделения памяти |
|
||
| Отказы | Отказ API и restart | Дополнить отказом S3, обрывом upload, сбоем COMMIT после PUT |
|
||
| Ограничение RAM | Лимиты контейнеров | Поток на временный диск, ограниченный буфер, семафор декодирования, timeout |
|
||
| Приватность bucket | Отсутствует | Идемпотентный bootstrap, отдельные credentials API, без внешних S3-портов |
|
||
| Согласованность | Одна транзакция PostgreSQL | Компенсация/сверка S3 и PostgreSQL с grace period |
|
||
| Исследование на 5 | Масштабирование API | Orphan/missing, dry-run/apply, повтор, защита свежих и используемых файлов, стоимость обхода |
|
||
|
||
## Файлы
|
||
|
||
- Endpoints/AttachmentEndpoints.cs: HTTP, аутентификация, доступ, валидация.
|
||
- Contracts/AttachmentDto.cs: публичные поля без object key.
|
||
- Services/AttachmentService.cs: ограниченная загрузка и проверка изображения.
|
||
- Infrastructure/S3Storage.cs: чтение и запись SeaweedFS через AWS SDK.
|
||
- Data/Attachments.cs и миграция 004: метаданные и связи.
|
||
- Services/AttachmentReconciler.cs: сверка двух хранилищ, отдельная CLI-команда.
|
||
|
||
## Границы
|
||
|
||
PostgreSQL и S3 не имеют общей транзакции. Загрузка держит общую блокировку
|
||
обслуживания вложений в PostgreSQL до завершения PUT и COMMIT. При обрыве
|
||
процесса после PUT останется orphan. Reconciler получает исключительную
|
||
блокировку, перечитывает метаданные и удаляет только старые неиспользуемые
|
||
объекты. Свежие файлы защищает grace period, используемые — ссылка сообщения.
|
||
Отсутствующий оригинал используемого вложения восстановить без резервной
|
||
копии невозможно: сверка фиксирует missing и сохраняет ссылки сообщения.
|
||
Один Docker-host, одна БД и один SeaweedFS остаются точками отказа.
|