forked from mtusi2026/mtusi2026lab4
cron и фикс бага с пнг + защила filer
This commit is contained in:
@@ -6,3 +6,5 @@ IDEMPOTENCY_TTL_SECONDS=86400
|
||||
MAX_CONCURRENT_UPLOADS=10
|
||||
API_CPU_LIMIT=1.0
|
||||
API_MEMORY_LIMIT=512M
|
||||
RECONCILE_INTERVAL_SECONDS=900
|
||||
RECONCILE_GRACE_SECONDS=3600
|
||||
|
||||
@@ -1,18 +1,18 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Аккуратов / БВТ2304
|
||||
Целевая оценка (3/4/5): 5
|
||||
Трек 5, если заявлен: трек 2 — согласование PostgreSQL/S3 (reconciliation)
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Что реализовано и что перенесено: перенесены серверная основа lab3, миграции и тест конкурентной идемпотентности; сохранены прежние API-сценарии. Добавлены приватное S3-хранилище вложений, PostgreSQL metadata, проверки и лимиты загрузки, reconciler с dry-run/grace period и восстановлением по SHA-256. Все отдельные публичные тесты предыдущих лабораторных работ повторно не запускались.
|
||||
Команды запуска из чистого clone: `cp .env.example .env && scripts/bootstrap-secrets.sh`, затем `APP_PORT=18080 docker compose up -d --build --scale api=2`; полные команды создания окружения и проверок — в [code.md](../code.md). При свободном порте 8080 можно использовать значение по умолчанию.
|
||||
Результаты проверок и ссылка на REPORT.md: [REPORT.md](../REPORT.md). Выполнены `make check` и `make test BASE_URL=http://localhost:18080` (оба PASS), `make validate`, тесты вложений, 12 конкурентных запросов идемпотентности, реальная интеграционная проверка reconciler, persistence и failover. Например: `PASS: 12 concurrent same-key requests on 2 replicas returned one message`; failover восстановил запись за 3.25 s.
|
||||
Ограничения / известные ошибки: замер памяти Docker stats приблизительный (4 samples); RPS и полноценный benchmark не проводились. При рестарте SeaweedFS требуется дождаться готовности чтения объектов; это ожидание включено в restart hook. Все тесты прошлых лабораторных отдельно не прогонялись.
|
||||
Источники и использование ИИ: исходная реализация и базовые тесты lab3; требования и контракт lab4; использована помощь AI assistant using Copilot SDK in VS Code при переносе, реализации, проверках и документации.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. (Основа перенесена; все тесты lab1–3 отдельно не запускались.)
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] `make check` и `make test` выполнены; фактические PASS-результаты указаны выше и в отчёте.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
@@ -1,117 +0,0 @@
|
||||
# Лабораторная 4. S3-хранилище и вложения
|
||||
|
||||
Разделить метаданные и бинарное содержимое, добавить изображения в сообщения и сохранить доступ к ним при переключении API-реплики.
|
||||
|
||||
Это реализация на Python 3.12 с PostgreSQL, SeaweedFS S3 и HAProxy. Код lab3 сохранён как основа; добавлены метаданные и S3-объекты вложений, синхронные upload/download и согласованная работа через несколько API-реплик. UI не обязателен.
|
||||
|
||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Перенесите минимум lab3. Дополняются поля сообщения и endpoint вложений; прежние текстовые POST остаются валидными.
|
||||
|
||||
**Архитектура:** Клиент → LB → API × 2+ → PostgreSQL (метаданные) + приватное S3-хранилище (байты).
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Используется SeaweedFS `4.51` как S3-совместимый сервер; образ закреплён по версии, приватный bucket bootstrap-ится из локального стенда.
|
||||
2. Спроектируйте Attachment и связь с чатом/сообщением. S3 object key назначает сервер, filename используется только для отображения.
|
||||
3. Реализуйте синхронный binary upload PNG/JPEG с ограничениями, сохранение метаданных и авторизованный download через API.
|
||||
4. Включите S3 и persistent volumes в общий Compose/Swarm. Проверьте, что другая API-реплика скачивает файл после остановки загрузившей.
|
||||
5. Проверьте недоступность S3, чужой чат и restart всего стенда.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Все обязательные возможности lab3 сохранены. S3-сервер находится в общем стенде; метаданные вложений живут в PostgreSQL, байты — в приватном bucket, не в БД или локальном каталоге API.
|
||||
- POST вложения возвращает 201 ready после сохранения; оригинал скачивается побайтно. Message с attachment_ids читается участниками чата. Публичный smoke проверяет checksum и отсутствие доступа у постороннего.
|
||||
- Принимаются реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME проверяется по содержимому, опасные filename отклоняются, лимиты применяются до неограниченного чтения/декодирования.
|
||||
- Upload → остановка обслужившей API-реплики → download через другую возвращает тот же файл. Restart с сохранением volumes сохраняет метаданные и оригинал.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Тесты покрывают слишком большой файл, повреждённое изображение, подмену MIME, чужое attachment_id и привязку файла другого чата. Пользовательская ошибка не превращается в 500.
|
||||
- Прерывание загрузки и отказ между записью S3/БД не оставляют вечных неучтённых объектов: есть документированный механизм компенсации/сверки/очистки с безопасным grace period.
|
||||
- Лимиты/таймауты и потоковая обработка не позволяют одной загрузке занять неограниченную RAM. Проведён эксперимент ≥10 одновременных загрузок с измерением пика памяти.
|
||||
- Bucket bootstrap идемпотентен; API использует отдельные S3 credentials с ограниченными правами. Административная консоль не открыта в общей сети. Есть проверка private bucket вне API.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Прямой upload.** Добавьте отдельный безопасный presigned-upload flow: короткая подпись, уникальный ключ, проверка принадлежности, размера/checksum при complete, обработка незавершённой загрузки. Сохраните обязательный proxy endpoint. Сравните трафик и RAM API при ≥2 размерах файлов, покажите негативные сценарии.
|
||||
|
||||
**Трек 2. Согласованность двух хранилищ.** Разработайте повторяемый reconciler для orphan/missing объектов и метаданных. Внедрите ошибки на обеих сторонах, покажите обнаружение и безопасное исправление с dry-run/повторным запуском. Докажите, что свежие и используемые вложения не удаляются; измерьте стоимость обхода.
|
||||
|
||||
## Запуск и проверка
|
||||
|
||||
```sh
|
||||
# Офлайн-проверка структуры и контракта:
|
||||
make check
|
||||
|
||||
# Smoke доступного API:
|
||||
make test
|
||||
```
|
||||
|
||||
`compose.example.yaml` — только worksheet, запускаемый стенд находится в `compose.yaml`. Для полного сценария и тестов см. [code.md](code.md).
|
||||
|
||||
```sh
|
||||
# Подготовка локальных secrets (значения не печатаются) и конфигурации:
|
||||
cp .env.example .env
|
||||
scripts/bootstrap-secrets.sh
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --scale api=2
|
||||
# Ожидайте /health/ready; затем запускайте make test.
|
||||
```
|
||||
|
||||
API передаёт upload потоками по 64 KiB во временный spooled-файл (в памяти не более 1 MiB на запрос), ограничивает размер/пиксели/общее время и количество параллельных upload. S3 bucket приватен; credentials admin bootstrap не попадают в API, а API-пользователь ограничен одним bucket. `src/reconcile.py` по умолчанию работает read-only; удаление orphan-объектов требует `--apply` и grace period 3600 секунд. Восстановление отсутствующего объекта возможно только из точной копии, checksum которой совпадает с PostgreSQL.
|
||||
|
||||
Дополнительные проверки:
|
||||
|
||||
```sh
|
||||
make test-attachments
|
||||
make test-reconcile
|
||||
make test-upload-concurrency
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
```
|
||||
|
||||
|
||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Загрузить fixture, отправить message с attachment_ids, скачать как второй участник и сравнить SHA-256.
|
||||
2. С третьим пользователем получить 404 для метаданных и bytes; direct unauthenticated S3 GET не отдаёт объект.
|
||||
3. Выполнить persistence и failover: общий тест начиная с lab4 сохраняет и повторно читает оригинал через API.
|
||||
4. Показать, что на API нет обязательного локального файла оригинала. Для 4/5 — отказы и эксперименты.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Дополненный стенд, настройка bucket/политики, миграции Attachment, тесты файлов, описание согласованности БД/S3 и результаты.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
|
||||
- Когда можно честно вернуть 201?
|
||||
- Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
|
||||
- Почему случайный object key и приватный bucket не заменяют ACL приложения?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [S3 object uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html)
|
||||
- [Presigned URLs](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-presigned-url.html)
|
||||
- [MinIO](https://github.com/minio/minio)
|
||||
- [SeaweedFS](https://github.com/seaweedfs/seaweedfs)
|
||||
- [RustFS](https://docs.rustfs.com/)
|
||||
@@ -21,11 +21,11 @@ HTTP client -> HAProxy -> 2+ stateless API replicas
|
||||
|
||||
Перенесены основные handler/store/server, миграции и поведение пользователей, сессий, чатов, пагинации и идемпотентности lab3. В сообщение добавлено необязательное `attachment_ids`, пустой текст принимается только при наличии вложений. Идемпотентный JSON канонизируется с `attachment_ids: []`, поэтому отсутствующее поле и пустой список эквивалентны.
|
||||
|
||||
Новый маршрут принимает только сырые PNG/JPEG, максимум 10 MiB и 40 млн пикселей. Content-Length проверяется до чтения; загрузка читается по 64 KiB в `SpooledTemporaryFile` с порогом памяти 1 MiB, ограничением времени 60 секунд и лимитом 10 одновременных загрузок на процесс. MIME сверяется с форматом декодера. `filename` хранится только как display metadata; object key строится из серверного UUID. Оригинал сначала записывается в S3, после чего транзакционно сохраняется metadata. При ошибке БД выполняется best-effort удаление S3-объекта; если процесс оборвался между операциями, объект обнаружит reconciler.
|
||||
Новый маршрут принимает только сырые PNG/JPEG, максимум 10 MiB и 40 млн пикселей. Content-Length проверяется до чтения; загрузка читается по 64 KiB в `SpooledTemporaryFile` с порогом памяти 1 MiB, ограничением времени 60 секунд и лимитом 10 одновременных загрузок на процесс. После проверки формата и размеров Pillow полностью декодирует пиксели; декодирование сериализовано до одного изображения на процесс, повреждённые IDAT должны завершаться 415. MIME сверяется с форматом декодера. `filename` хранится только как display metadata; object key строится из серверного UUID. Оригинал сначала записывается в S3, после чего транзакционно сохраняется metadata. При ошибке БД выполняется best-effort удаление S3-объекта; если процесс оборвался между операциями, объект обнаружит reconciler.
|
||||
|
||||
Download сначала проверяет членство пользователя в чате через PostgreSQL, затем проксирует байты из приватного S3 bucket. API не выдаёт redirect или object key. Отдельный ограниченный S3-пользователь создаётся bootstrap с правами только на бакет `messenger-attachments`; admin credentials не монтируются в API. PostgreSQL и SeaweedFS используют persistent volumes.
|
||||
Download сначала проверяет членство пользователя в чате через PostgreSQL, затем проксирует байты из приватного S3 bucket. API не выдаёт redirect или object key. Отдельный ограниченный S3-пользователь создаётся bootstrap с правами только на бакет `messenger-attachments`; admin credentials не монтируются в API. SeaweedFS master/filer/volume запущены в отдельной internal-сети, к которой API не подключён; API имеет доступ только к отдельному S3 gateway, дополнительные HTTP-порты которого выключены. PostgreSQL и SeaweedFS core используют persistent volumes.
|
||||
|
||||
Reconciler сравнивает полный список объектов с metadata и выдаёт счётчики/время обхода. По умолчанию он read-only. `--apply` удаляет только orphan objects старше указанного grace period (по умолчанию 3600 секунд), регистрирует missing-object incidents и очищает устаревшие incident-записи. Если metadata существует, но object отсутствует, восстановление допускается только из предоставленной оператором точной копии с теми же размером и SHA-256; копия называется UUID вложения. Несовпавшая копия не загружается. Недостающая копия оставляет metadata на месте для ручного восстановления, объект не объявляется восстановленным.
|
||||
Reconciler сравнивает полный список объектов с metadata и выдаёт счётчики/время обхода. Ручной запуск по умолчанию read-only. Compose-сервис `reconciler` автоматически вызывает его с `--apply` каждые 900 секунд; grace period по умолчанию — 3600 секунд. Автоматический проход удаляет только старые orphan objects, регистрирует missing-object incidents и очищает устаревшие incident-записи. Если metadata существует, но object отсутствует, восстановление допускается только из предоставленной оператором точной копии с теми же размером и SHA-256; копия называется UUID вложения. Периодический сервис не имеет restore directory, поэтому без отдельного ручного восстановления отсутствующие байты не восстанавливает.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
@@ -36,10 +36,10 @@ Reconciler сравнивает полный список объектов с me
|
||||
| Контракт и структура | `make check`; `make validate PYTHON=.venv/bin/python` | PASS | `scripts/check_contract.py`, `scripts/validate_openapi.py` |
|
||||
| Публичный API, checksum и доступ | `make test BASE_URL=http://localhost:18080` | PASS | `tests/smoke.py` |
|
||||
| Конкурентная идемпотентность | 12 одинаковых POST через HAProxy и две API-реплики | PASS: все ответы совпали, в истории сохранено одно сообщение | `student-tests/test_idempotency_race.py` |
|
||||
| Ограничения upload и негативные случаи | `make test-attachments BASE_URL=http://localhost:18080` | PASS: oversized bytes/pixels, damaged image, MIME spoof, unsafe filename, чужой пользователь и чужой чат | `student-tests/test_attachments.py` |
|
||||
| Ограничения upload и негативные случаи | `make test-attachments BASE_URL=http://localhost:18080` | Ранее PASS для oversized bytes/pixels, повреждённого изображения, MIME spoof, unsafe filename и авторизации; добавлен отдельный IDAT corruption case, его интеграционный запуск после изменения ожидает доступного Docker стенда | `student-tests/test_attachments.py` |
|
||||
| Десять одновременных upload и память | `make test-upload-concurrency BASE_URL=http://localhost:18080` | PASS: 10 параллельных upload по 5 883 411 байт, две API-реплики, 1.648 с; максимальная память одного API-контейнера: baseline 57 126 420 B, peak 68 209 868 B, delta 11 083 448 B. За время upload получено 4 samples, результат приблизительный | `student-tests/upload_concurrency.py` |
|
||||
| Persist volumes и API failover | `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS: PostgreSQL/S3 restart сохранил запись, вложение и прежнюю сессию; failover видел 2 реплики до остановки, после двух неуспешных попыток записал 111 сообщений, первое восстановление за 3.25 с | `tests/resilience.py`, `scripts/` |
|
||||
| S3 private bucket и least privilege | unauthenticated GET; повторный bootstrap | PASS: анонимный GET отклонён; повторный S3 bootstrap завершился успешно; API credentials ограничены действиями для bucket `messenger-attachments` | `compose.yaml`, `scripts/bootstrap-secrets.py`, integration test |
|
||||
| S3 private bucket и least privilege | unauthenticated GET; повторный bootstrap; проверка сети master/filer | Анонимный GET и повторный bootstrap ранее PASS; добавлено разделение SeaweedFS core и S3 gateway и интеграционная проверка изоляции DNS, её запуск после изменения ожидает доступного Docker стенда | `compose.yaml`, `student-tests/test_reconcile_integration.py` |
|
||||
| Track 2: orphan/missing reconciliation | `make test-reconcile`; `make test-reconcile-integration BASE_URL=http://localhost:18080` | PASS: реальные PostgreSQL/SeaweedFS, 45 объектов и 45 metadata-записей; 1 orphan обнаружен и удалён, 1 missing object восстановлен по точной копии, повторный scan чистый, 21.638 ms | `student-tests/test_reconcile.py`, `student-tests/test_reconcile_integration.py` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
## Первый запуск / чистый clone
|
||||
|
||||
При обновлении уже работающего стенда с прежней объединённой SeaweedFS-службой перед командой `docker compose up` сначала остановите старый контейнер: оба варианта используют один `seaweed_data` volume, и старый и новый процессы не должны работать одновременно.
|
||||
|
||||
```sh
|
||||
cd mtusi2026lab4
|
||||
cp .env.example .env
|
||||
@@ -7,10 +9,14 @@ scripts/bootstrap-secrets.sh
|
||||
# If localhost:8080 is occupied, use an alternate HAProxy port for all following commands.
|
||||
export APP_PORT=18080
|
||||
|
||||
# Только при обновлении прежнего стека:
|
||||
docker compose stop s3
|
||||
|
||||
# Проверить итоговую Compose-конфигурацию.
|
||||
docker compose config --quiet
|
||||
|
||||
# Build, PostgreSQL + SeaweedFS bucket bootstrap + миграции + 2 API + HAProxy.
|
||||
# Build, PostgreSQL + изолированное SeaweedFS core/S3 gateway + bucket bootstrap,
|
||||
# миграции, периодический reconciler, 2 API и HAProxy.
|
||||
docker compose up -d --build --scale api=2
|
||||
|
||||
# Проверить статусы и readiness.
|
||||
@@ -74,6 +80,20 @@ make test-upload-concurrency BASE_URL=http://localhost:18080
|
||||
|
||||
## Track 2: reconciliation
|
||||
|
||||
После `docker compose up` сервис `reconciler` автоматически запускает проход с `--apply` каждые 900 секунд. Grace period по умолчанию — 3600 секунд: удаляются только старые orphan-объекты; missing metadata фиксируется как incident. Без настроенного restore directory скрипт не может восстановить missing bytes.
|
||||
|
||||
```sh
|
||||
# Смотреть результат каждого периодического прохода.
|
||||
docker compose logs -f reconciler
|
||||
|
||||
# Остановить автоматические проходы.
|
||||
docker compose stop reconciler
|
||||
|
||||
# Период и grace period задаются в локальном .env до запуска Compose:
|
||||
# RECONCILE_INTERVAL_SECONDS=900
|
||||
# RECONCILE_GRACE_SECONDS=3600
|
||||
```
|
||||
|
||||
Read-only scan:
|
||||
|
||||
```sh
|
||||
@@ -117,5 +137,3 @@ docker compose down
|
||||
# Намеренно удалить учебную БД и оригиналы (не выполнять для проверки persistence):
|
||||
docker compose down --volumes
|
||||
```
|
||||
|
||||
После `down --volumes` секреты остаются в локальном `secrets/` и подходят для нового чистого стенда. Не удалять папку secrets рекурсивно и не коммитить файлы из неё.
|
||||
|
||||
+78
-10
@@ -22,23 +22,58 @@ services:
|
||||
memory: 1G
|
||||
restart: unless-stopped
|
||||
|
||||
s3:
|
||||
s3-core:
|
||||
image: chrislusf/seaweedfs:4.51
|
||||
entrypoint: ["weed"]
|
||||
command:
|
||||
- server
|
||||
- -s3
|
||||
- -dir=/data
|
||||
- -s3.config=/run/secrets/s3_config
|
||||
- -s3.port=8333
|
||||
- -s3.autoCreateBucket=false
|
||||
- -s3.concurrentFileUploadLimit=10
|
||||
- -s3.concurrentUploadLimitMB=100
|
||||
- -s3.readerCacheSizeMB=64
|
||||
secrets:
|
||||
- s3_config
|
||||
- -filer=true
|
||||
- -s3=false
|
||||
volumes:
|
||||
- seaweed_data:/data
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD-SHELL
|
||||
- "curl --fail --silent http://127.0.0.1:8888/ >/dev/null"
|
||||
interval: 3s
|
||||
timeout: 2s
|
||||
retries: 30
|
||||
start_period: 10s
|
||||
networks:
|
||||
- seaweed_internal
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 1G
|
||||
restart: unless-stopped
|
||||
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:4.51
|
||||
entrypoint: ["weed"]
|
||||
command:
|
||||
- s3
|
||||
- -filer=s3-core:8888
|
||||
- -config=/run/secrets/s3_config
|
||||
- -port=8333
|
||||
- -port.https=0
|
||||
- -port.grpc=0
|
||||
- -port.iceberg=0
|
||||
- -port.lance=0
|
||||
- -concurrentFileUploadLimit=10
|
||||
- -concurrentUploadLimitMB=100
|
||||
- -readerCacheSizeMB=64
|
||||
- -autoCreateBucket=false
|
||||
- -ip.bind=0.0.0.0
|
||||
secrets:
|
||||
- s3_config
|
||||
depends_on:
|
||||
s3-core:
|
||||
condition: service_healthy
|
||||
networks:
|
||||
- default
|
||||
- seaweed_internal
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD-SHELL
|
||||
@@ -144,6 +179,35 @@ services:
|
||||
stop_grace_period: 20s
|
||||
restart: unless-stopped
|
||||
|
||||
reconciler:
|
||||
build:
|
||||
context: .
|
||||
dockerfile: Dockerfile
|
||||
command: ["sh", "scripts/reconcile-loop.sh"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: messenger-attachments
|
||||
DB_POOL_MAX_SIZE: "2"
|
||||
RECONCILE_INTERVAL_SECONDS: ${RECONCILE_INTERVAL_SECONDS:-900}
|
||||
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-3600}
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.5"
|
||||
memory: 256M
|
||||
restart: unless-stopped
|
||||
|
||||
load_balancer:
|
||||
image: haproxy:3.0.7-alpine
|
||||
ports:
|
||||
@@ -184,3 +248,7 @@ secrets:
|
||||
volumes:
|
||||
postgres_data:
|
||||
seaweed_data:
|
||||
|
||||
networks:
|
||||
seaweed_internal:
|
||||
internal: true
|
||||
|
||||
@@ -0,0 +1,33 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
interval=${RECONCILE_INTERVAL_SECONDS:-900}
|
||||
grace=${RECONCILE_GRACE_SECONDS:-3600}
|
||||
|
||||
case "$interval" in
|
||||
''|*[!0-9]*)
|
||||
echo "RECONCILE_INTERVAL_SECONDS must be an integer" >&2
|
||||
exit 2
|
||||
;;
|
||||
esac
|
||||
case "$grace" in
|
||||
''|*[!0-9]*)
|
||||
echo "RECONCILE_GRACE_SECONDS must be an integer" >&2
|
||||
exit 2
|
||||
;;
|
||||
esac
|
||||
if [ "$interval" -lt 60 ]; then
|
||||
echo "RECONCILE_INTERVAL_SECONDS must be at least 60" >&2
|
||||
exit 2
|
||||
fi
|
||||
if [ "$grace" -lt 60 ]; then
|
||||
echo "RECONCILE_GRACE_SECONDS must be at least 60" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
while :
|
||||
do
|
||||
python3 src/reconcile.py --grace-seconds "$grace" --apply
|
||||
sleep "$interval"
|
||||
done
|
||||
+4
-2
@@ -1,8 +1,10 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose restart postgres s3
|
||||
docker compose up -d --wait postgres s3
|
||||
docker compose restart postgres s3-core
|
||||
docker compose up -d --wait postgres s3-core
|
||||
docker compose restart s3
|
||||
docker compose up -d --wait s3
|
||||
attempt=0
|
||||
until docker compose exec --index 1 -T api python3 -c 'from src.object_store import ObjectStore; store = ObjectStore(); key, _ = next(store.objects()); store.get(key, 10485760)' >/dev/null 2>&1; do
|
||||
attempt=$((attempt + 1))
|
||||
|
||||
+9
-1
@@ -7,6 +7,7 @@ import time
|
||||
import tempfile
|
||||
import uuid
|
||||
import warnings
|
||||
import zlib
|
||||
from http.server import BaseHTTPRequestHandler
|
||||
from typing import Any, BinaryIO, Dict, List, Optional, Tuple
|
||||
from urllib.parse import parse_qs, urlsplit
|
||||
@@ -59,6 +60,7 @@ class RequestGuard:
|
||||
|
||||
REQUEST_GUARD = RequestGuard()
|
||||
UPLOAD_GUARD = threading.BoundedSemaphore(MAX_CONCURRENT_UPLOADS)
|
||||
IMAGE_DECODE_GUARD = threading.BoundedSemaphore(1)
|
||||
|
||||
|
||||
class MessengerHandler(BaseHTTPRequestHandler):
|
||||
@@ -409,6 +411,12 @@ class MessengerHandler(BaseHTTPRequestHandler):
|
||||
raise ApiError(413, "payload_too_large", "Image exceeds the 40 million pixel limit")
|
||||
image.verify()
|
||||
content.seek(0)
|
||||
with IMAGE_DECODE_GUARD:
|
||||
with warnings.catch_warnings():
|
||||
warnings.simplefilter("error", Image.DecompressionBombWarning)
|
||||
with Image.open(content) as image:
|
||||
image.load()
|
||||
content.seek(0)
|
||||
return content, actual_type, size, digest.hexdigest()
|
||||
except ApiError:
|
||||
content.close()
|
||||
@@ -416,7 +424,7 @@ class MessengerHandler(BaseHTTPRequestHandler):
|
||||
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
|
||||
content.close()
|
||||
raise ApiError(413, "payload_too_large", "Image exceeds the 40 million pixel limit") from None
|
||||
except (UnidentifiedImageError, OSError, SyntaxError, ValueError):
|
||||
except (UnidentifiedImageError, OSError, SyntaxError, ValueError, zlib.error):
|
||||
content.close()
|
||||
raise ApiError(415, "unsupported_media_type", "Image is damaged or unsupported") from None
|
||||
|
||||
|
||||
@@ -54,6 +54,16 @@ def main():
|
||||
+ struct.pack(">I", zlib.crc32(kind + payload) & 0xFFFFFFFF)
|
||||
)
|
||||
|
||||
bad_idat = bytearray(zlib.compress(b"\x00\x10\x20\x30"))
|
||||
bad_idat[-3] ^= 0xFF
|
||||
damaged_idat = (
|
||||
b"\x89PNG\r\n\x1a\n"
|
||||
+ chunk(b"IHDR", struct.pack(">IIBBBBB", 1, 1, 8, 2, 0, 0, 0))
|
||||
+ chunk(b"IDAT", bytes(bad_idat))
|
||||
+ chunk(b"IEND", b"")
|
||||
)
|
||||
upload(client, alice, chat["id"], damaged_idat, expected=415)
|
||||
|
||||
too_many_pixels = (
|
||||
b"\x89PNG\r\n\x1a\n"
|
||||
+ chunk(b"IHDR", struct.pack(">IIBBBBB", 10001, 4000, 8, 2, 0, 0, 0))
|
||||
|
||||
@@ -44,9 +44,25 @@ finally:
|
||||
"""
|
||||
|
||||
PRIVATE_CHECK_CODE = """
|
||||
import socket
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
try:
|
||||
socket.getaddrinfo("s3-core", 8888)
|
||||
except socket.gaierror:
|
||||
print("PASS: SeaweedFS master/filer network is isolated")
|
||||
else:
|
||||
raise RuntimeError("API network can resolve the SeaweedFS core service")
|
||||
|
||||
for port in (8181, 9101):
|
||||
try:
|
||||
socket.create_connection(("s3", port), timeout=1).close()
|
||||
except OSError:
|
||||
continue
|
||||
raise RuntimeError("unexpected SeaweedFS gateway interface is reachable on port " + str(port))
|
||||
|
||||
try:
|
||||
urllib.request.urlopen("http://s3:8333/messenger-attachments/", timeout=3)
|
||||
except urllib.error.HTTPError as error:
|
||||
|
||||
Reference in New Issue
Block a user