From 07e90e0f191f2b8efceafa4d64bb9761590fef28 Mon Sep 17 00:00:00 2001 From: kaktuz20000 <149298757+kaktuz20000@users.noreply.github.com> Date: Wed, 4 Nov 2026 09:22:36 +0300 Subject: [PATCH] =?UTF-8?q?cron=20=D0=B8=20=D1=84=D0=B8=D0=BA=D1=81=20?= =?UTF-8?q?=D0=B1=D0=B0=D0=B3=D0=B0=20=D1=81=20=D0=BF=D0=BD=D0=B3=20+=20?= =?UTF-8?q?=D0=B7=D0=B0=D1=89=D0=B8=D0=BB=D0=B0=20filer?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 2 + .github/pull_request_template.md | 28 ++--- README.md | 117 -------------------- REPORT.md | 10 +- code.md | 24 +++- compose.yaml | 88 +++++++++++++-- scripts/reconcile-loop.sh | 33 ++++++ scripts/restart.sh | 6 +- src/handlers.py | 10 +- student-tests/test_attachments.py | 10 ++ student-tests/test_reconcile_integration.py | 16 +++ 11 files changed, 192 insertions(+), 152 deletions(-) delete mode 100644 README.md create mode 100644 scripts/reconcile-loop.sh diff --git a/.env.example b/.env.example index 1f760fea..840bf120 100644 --- a/.env.example +++ b/.env.example @@ -6,3 +6,5 @@ IDEMPOTENCY_TTL_SECONDS=86400 MAX_CONCURRENT_UPLOADS=10 API_CPU_LIMIT=1.0 API_MEMORY_LIMIT=512M +RECONCILE_INTERVAL_SECONDS=900 +RECONCILE_GRACE_SECONDS=3600 diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 1bec5472..630e7b40 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,18 @@ ## Лабораторная 4 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Аккуратов / БВТ2304 +Целевая оценка (3/4/5): 5 +Трек 5, если заявлен: трек 2 — согласование PostgreSQL/S3 (reconciliation) -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +Что реализовано и что перенесено: перенесены серверная основа lab3, миграции и тест конкурентной идемпотентности; сохранены прежние API-сценарии. Добавлены приватное S3-хранилище вложений, PostgreSQL metadata, проверки и лимиты загрузки, reconciler с dry-run/grace period и восстановлением по SHA-256. Все отдельные публичные тесты предыдущих лабораторных работ повторно не запускались. +Команды запуска из чистого clone: `cp .env.example .env && scripts/bootstrap-secrets.sh`, затем `APP_PORT=18080 docker compose up -d --build --scale api=2`; полные команды создания окружения и проверок — в [code.md](../code.md). При свободном порте 8080 можно использовать значение по умолчанию. +Результаты проверок и ссылка на REPORT.md: [REPORT.md](../REPORT.md). Выполнены `make check` и `make test BASE_URL=http://localhost:18080` (оба PASS), `make validate`, тесты вложений, 12 конкурентных запросов идемпотентности, реальная интеграционная проверка reconciler, persistence и failover. Например: `PASS: 12 concurrent same-key requests on 2 replicas returned one message`; failover восстановил запись за 3.25 s. +Ограничения / известные ошибки: замер памяти Docker stats приблизительный (4 samples); RPS и полноценный benchmark не проводились. При рестарте SeaweedFS требуется дождаться готовности чтения объектов; это ожидание включено в restart hook. Все тесты прошлых лабораторных отдельно не прогонялись. +Источники и использование ИИ: исходная реализация и базовые тесты lab3; требования и контракт lab4; использована помощь AI assistant using Copilot SDK in VS Code при переносе, реализации, проверках и документации. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. (Основа перенесена; все тесты lab1–3 отдельно не запускались.) +- [x] Контракт и публичные тесты не ослаблены. +- [x] `make check` и `make test` выполнены; фактические PASS-результаты указаны выше и в отчёте. +- [x] Сценарии отказов/безопасности своего уровня воспроизведены. +- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. +- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. diff --git a/README.md b/README.md deleted file mode 100644 index 88e2d1f5..00000000 --- a/README.md +++ /dev/null @@ -1,117 +0,0 @@ -# Лабораторная 4. S3-хранилище и вложения - -Разделить метаданные и бинарное содержимое, добавить изображения в сообщения и сохранить доступ к ним при переключении API-реплики. - -Это реализация на Python 3.12 с PostgreSQL, SeaweedFS S3 и HAProxy. Код lab3 сохранён как основа; добавлены метаданные и S3-объекты вложений, синхронные upload/download и согласованная работа через несколько API-реплик. UI не обязателен. - -[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md) - -## Откуда начинаем - -Перенесите минимум lab3. Дополняются поля сообщения и endpoint вложений; прежние текстовые POST остаются валидными. - -**Архитектура:** Клиент → LB → API × 2+ → PostgreSQL (метаданные) + приватное S3-хранилище (байты). - -## Что сделать - -1. Используется SeaweedFS `4.51` как S3-совместимый сервер; образ закреплён по версии, приватный bucket bootstrap-ится из локального стенда. -2. Спроектируйте Attachment и связь с чатом/сообщением. S3 object key назначает сервер, filename используется только для отображения. -3. Реализуйте синхронный binary upload PNG/JPEG с ограничениями, сохранение метаданных и авторизованный download через API. -4. Включите S3 и persistent volumes в общий Compose/Swarm. Проверьте, что другая API-реплика скачивает файл после остановки загрузившей. -5. Проверьте недоступность S3, чужой чат и restart всего стенда. - -## Оценка «3»: работающий минимум - -- Все обязательные возможности lab3 сохранены. S3-сервер находится в общем стенде; метаданные вложений живут в PostgreSQL, байты — в приватном bucket, не в БД или локальном каталоге API. -- POST вложения возвращает 201 ready после сохранения; оригинал скачивается побайтно. Message с attachment_ids читается участниками чата. Публичный smoke проверяет checksum и отсутствие доступа у постороннего. -- Принимаются реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME проверяется по содержимому, опасные filename отклоняются, лимиты применяются до неограниченного чтения/декодирования. -- Upload → остановка обслужившей API-реплики → download через другую возвращает тот же файл. Restart с сохранением volumes сохраняет метаданные и оригинал. - -## Оценка «4»: уровень стажёра/джуна - -Весь уровень 3 **и все** пункты ниже: - -- Тесты покрывают слишком большой файл, повреждённое изображение, подмену MIME, чужое attachment_id и привязку файла другого чата. Пользовательская ошибка не превращается в 500. -- Прерывание загрузки и отказ между записью S3/БД не оставляют вечных неучтённых объектов: есть документированный механизм компенсации/сверки/очистки с безопасным grace period. -- Лимиты/таймауты и потоковая обработка не позволяют одной загрузке занять неограниченную RAM. Проведён эксперимент ≥10 одновременных загрузок с измерением пика памяти. -- Bucket bootstrap идемпотентен; API использует отдельные S3 credentials с ограниченными правами. Административная консоль не открыта в общей сети. Есть проверка private bucket вне API. - -## Оценка «5»: исследование и доказанный результат - -Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения. - -**Трек 1. Прямой upload.** Добавьте отдельный безопасный presigned-upload flow: короткая подпись, уникальный ключ, проверка принадлежности, размера/checksum при complete, обработка незавершённой загрузки. Сохраните обязательный proxy endpoint. Сравните трафик и RAM API при ≥2 размерах файлов, покажите негативные сценарии. - -**Трек 2. Согласованность двух хранилищ.** Разработайте повторяемый reconciler для orphan/missing объектов и метаданных. Внедрите ошибки на обеих сторонах, покажите обнаружение и безопасное исправление с dry-run/повторным запуском. Докажите, что свежие и используемые вложения не удаляются; измерьте стоимость обхода. - -## Запуск и проверка - -```sh -# Офлайн-проверка структуры и контракта: -make check - -# Smoke доступного API: -make test -``` - -`compose.example.yaml` — только worksheet, запускаемый стенд находится в `compose.yaml`. Для полного сценария и тестов см. [code.md](code.md). - -```sh -# Подготовка локальных secrets (значения не печатаются) и конфигурации: -cp .env.example .env -scripts/bootstrap-secrets.sh -docker compose config --quiet -docker compose up -d --build --scale api=2 -# Ожидайте /health/ready; затем запускайте make test. -``` - -API передаёт upload потоками по 64 KiB во временный spooled-файл (в памяти не более 1 MiB на запрос), ограничивает размер/пиксели/общее время и количество параллельных upload. S3 bucket приватен; credentials admin bootstrap не попадают в API, а API-пользователь ограничен одним bucket. `src/reconcile.py` по умолчанию работает read-only; удаление orphan-объектов требует `--apply` и grace period 3600 секунд. Восстановление отсутствующего объекта возможно только из точной копии, checksum которой совпадает с PostgreSQL. - -Дополнительные проверки: - -```sh -make test-attachments -make test-reconcile -make test-upload-concurrency -make test-persistence ACTION_SCRIPT=scripts/restart.sh -make test-failover ACTION_SCRIPT=scripts/stop-one.sh -``` - - -Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически): - -```sh -python3 -m venv .venv -.venv/bin/python -m pip install -r requirements-dev.txt -make validate PYTHON=.venv/bin/python -``` - -Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте. - -## Сценарий защиты - -1. Загрузить fixture, отправить message с attachment_ids, скачать как второй участник и сравнить SHA-256. -2. С третьим пользователем получить 404 для метаданных и bytes; direct unauthenticated S3 GET не отдаёт объект. -3. Выполнить persistence и failover: общий тест начиная с lab4 сохраняет и повторно читает оригинал через API. -4. Показать, что на API нет обязательного локального файла оригинала. Для 4/5 — отказы и эксперименты. - -## Что должно быть в PR - -Дополненный стенд, настройка bucket/политики, миграции Attachment, тесты файлов, описание согласованности БД/S3 и результаты. - -Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md). - -## Вопросы на защите - -- Почему файл в Docker volume одной API-реплики не равен объектному хранилищу? -- Когда можно честно вернуть 201? -- Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет? -- Почему случайный object key и приватный bucket не заменяют ACL приложения? - -## Первичные материалы - -- [S3 object uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html) -- [Presigned URLs](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-presigned-url.html) -- [MinIO](https://github.com/minio/minio) -- [SeaweedFS](https://github.com/seaweedfs/seaweedfs) -- [RustFS](https://docs.rustfs.com/) diff --git a/REPORT.md b/REPORT.md index 3f8a0888..71b91c7a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -21,11 +21,11 @@ HTTP client -> HAProxy -> 2+ stateless API replicas Перенесены основные handler/store/server, миграции и поведение пользователей, сессий, чатов, пагинации и идемпотентности lab3. В сообщение добавлено необязательное `attachment_ids`, пустой текст принимается только при наличии вложений. Идемпотентный JSON канонизируется с `attachment_ids: []`, поэтому отсутствующее поле и пустой список эквивалентны. -Новый маршрут принимает только сырые PNG/JPEG, максимум 10 MiB и 40 млн пикселей. Content-Length проверяется до чтения; загрузка читается по 64 KiB в `SpooledTemporaryFile` с порогом памяти 1 MiB, ограничением времени 60 секунд и лимитом 10 одновременных загрузок на процесс. MIME сверяется с форматом декодера. `filename` хранится только как display metadata; object key строится из серверного UUID. Оригинал сначала записывается в S3, после чего транзакционно сохраняется metadata. При ошибке БД выполняется best-effort удаление S3-объекта; если процесс оборвался между операциями, объект обнаружит reconciler. +Новый маршрут принимает только сырые PNG/JPEG, максимум 10 MiB и 40 млн пикселей. Content-Length проверяется до чтения; загрузка читается по 64 KiB в `SpooledTemporaryFile` с порогом памяти 1 MiB, ограничением времени 60 секунд и лимитом 10 одновременных загрузок на процесс. После проверки формата и размеров Pillow полностью декодирует пиксели; декодирование сериализовано до одного изображения на процесс, повреждённые IDAT должны завершаться 415. MIME сверяется с форматом декодера. `filename` хранится только как display metadata; object key строится из серверного UUID. Оригинал сначала записывается в S3, после чего транзакционно сохраняется metadata. При ошибке БД выполняется best-effort удаление S3-объекта; если процесс оборвался между операциями, объект обнаружит reconciler. -Download сначала проверяет членство пользователя в чате через PostgreSQL, затем проксирует байты из приватного S3 bucket. API не выдаёт redirect или object key. Отдельный ограниченный S3-пользователь создаётся bootstrap с правами только на бакет `messenger-attachments`; admin credentials не монтируются в API. PostgreSQL и SeaweedFS используют persistent volumes. +Download сначала проверяет членство пользователя в чате через PostgreSQL, затем проксирует байты из приватного S3 bucket. API не выдаёт redirect или object key. Отдельный ограниченный S3-пользователь создаётся bootstrap с правами только на бакет `messenger-attachments`; admin credentials не монтируются в API. SeaweedFS master/filer/volume запущены в отдельной internal-сети, к которой API не подключён; API имеет доступ только к отдельному S3 gateway, дополнительные HTTP-порты которого выключены. PostgreSQL и SeaweedFS core используют persistent volumes. -Reconciler сравнивает полный список объектов с metadata и выдаёт счётчики/время обхода. По умолчанию он read-only. `--apply` удаляет только orphan objects старше указанного grace period (по умолчанию 3600 секунд), регистрирует missing-object incidents и очищает устаревшие incident-записи. Если metadata существует, но object отсутствует, восстановление допускается только из предоставленной оператором точной копии с теми же размером и SHA-256; копия называется UUID вложения. Несовпавшая копия не загружается. Недостающая копия оставляет metadata на месте для ручного восстановления, объект не объявляется восстановленным. +Reconciler сравнивает полный список объектов с metadata и выдаёт счётчики/время обхода. Ручной запуск по умолчанию read-only. Compose-сервис `reconciler` автоматически вызывает его с `--apply` каждые 900 секунд; grace period по умолчанию — 3600 секунд. Автоматический проход удаляет только старые orphan objects, регистрирует missing-object incidents и очищает устаревшие incident-записи. Если metadata существует, но object отсутствует, восстановление допускается только из предоставленной оператором точной копии с теми же размером и SHA-256; копия называется UUID вложения. Периодический сервис не имеет restore directory, поэтому без отдельного ручного восстановления отсутствующие байты не восстанавливает. ## Доказательства критериев @@ -36,10 +36,10 @@ Reconciler сравнивает полный список объектов с me | Контракт и структура | `make check`; `make validate PYTHON=.venv/bin/python` | PASS | `scripts/check_contract.py`, `scripts/validate_openapi.py` | | Публичный API, checksum и доступ | `make test BASE_URL=http://localhost:18080` | PASS | `tests/smoke.py` | | Конкурентная идемпотентность | 12 одинаковых POST через HAProxy и две API-реплики | PASS: все ответы совпали, в истории сохранено одно сообщение | `student-tests/test_idempotency_race.py` | -| Ограничения upload и негативные случаи | `make test-attachments BASE_URL=http://localhost:18080` | PASS: oversized bytes/pixels, damaged image, MIME spoof, unsafe filename, чужой пользователь и чужой чат | `student-tests/test_attachments.py` | +| Ограничения upload и негативные случаи | `make test-attachments BASE_URL=http://localhost:18080` | Ранее PASS для oversized bytes/pixels, повреждённого изображения, MIME spoof, unsafe filename и авторизации; добавлен отдельный IDAT corruption case, его интеграционный запуск после изменения ожидает доступного Docker стенда | `student-tests/test_attachments.py` | | Десять одновременных upload и память | `make test-upload-concurrency BASE_URL=http://localhost:18080` | PASS: 10 параллельных upload по 5 883 411 байт, две API-реплики, 1.648 с; максимальная память одного API-контейнера: baseline 57 126 420 B, peak 68 209 868 B, delta 11 083 448 B. За время upload получено 4 samples, результат приблизительный | `student-tests/upload_concurrency.py` | | Persist volumes и API failover | `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS: PostgreSQL/S3 restart сохранил запись, вложение и прежнюю сессию; failover видел 2 реплики до остановки, после двух неуспешных попыток записал 111 сообщений, первое восстановление за 3.25 с | `tests/resilience.py`, `scripts/` | -| S3 private bucket и least privilege | unauthenticated GET; повторный bootstrap | PASS: анонимный GET отклонён; повторный S3 bootstrap завершился успешно; API credentials ограничены действиями для bucket `messenger-attachments` | `compose.yaml`, `scripts/bootstrap-secrets.py`, integration test | +| S3 private bucket и least privilege | unauthenticated GET; повторный bootstrap; проверка сети master/filer | Анонимный GET и повторный bootstrap ранее PASS; добавлено разделение SeaweedFS core и S3 gateway и интеграционная проверка изоляции DNS, её запуск после изменения ожидает доступного Docker стенда | `compose.yaml`, `student-tests/test_reconcile_integration.py` | | Track 2: orphan/missing reconciliation | `make test-reconcile`; `make test-reconcile-integration BASE_URL=http://localhost:18080` | PASS: реальные PostgreSQL/SeaweedFS, 45 объектов и 45 metadata-записей; 1 orphan обнаружен и удалён, 1 missing object восстановлен по точной копии, повторный scan чистый, 21.638 ms | `student-tests/test_reconcile.py`, `student-tests/test_reconcile_integration.py` | ## Эксперименты и отказы diff --git a/code.md b/code.md index 10885d3c..bcfc861a 100644 --- a/code.md +++ b/code.md @@ -1,5 +1,7 @@ ## Первый запуск / чистый clone +При обновлении уже работающего стенда с прежней объединённой SeaweedFS-службой перед командой `docker compose up` сначала остановите старый контейнер: оба варианта используют один `seaweed_data` volume, и старый и новый процессы не должны работать одновременно. + ```sh cd mtusi2026lab4 cp .env.example .env @@ -7,10 +9,14 @@ scripts/bootstrap-secrets.sh # If localhost:8080 is occupied, use an alternate HAProxy port for all following commands. export APP_PORT=18080 +# Только при обновлении прежнего стека: +docker compose stop s3 + # Проверить итоговую Compose-конфигурацию. docker compose config --quiet -# Build, PostgreSQL + SeaweedFS bucket bootstrap + миграции + 2 API + HAProxy. +# Build, PostgreSQL + изолированное SeaweedFS core/S3 gateway + bucket bootstrap, +# миграции, периодический reconciler, 2 API и HAProxy. docker compose up -d --build --scale api=2 # Проверить статусы и readiness. @@ -74,6 +80,20 @@ make test-upload-concurrency BASE_URL=http://localhost:18080 ## Track 2: reconciliation +После `docker compose up` сервис `reconciler` автоматически запускает проход с `--apply` каждые 900 секунд. Grace period по умолчанию — 3600 секунд: удаляются только старые orphan-объекты; missing metadata фиксируется как incident. Без настроенного restore directory скрипт не может восстановить missing bytes. + +```sh +# Смотреть результат каждого периодического прохода. +docker compose logs -f reconciler + +# Остановить автоматические проходы. +docker compose stop reconciler + +# Период и grace period задаются в локальном .env до запуска Compose: +# RECONCILE_INTERVAL_SECONDS=900 +# RECONCILE_GRACE_SECONDS=3600 +``` + Read-only scan: ```sh @@ -117,5 +137,3 @@ docker compose down # Намеренно удалить учебную БД и оригиналы (не выполнять для проверки persistence): docker compose down --volumes ``` - -После `down --volumes` секреты остаются в локальном `secrets/` и подходят для нового чистого стенда. Не удалять папку secrets рекурсивно и не коммитить файлы из неё. diff --git a/compose.yaml b/compose.yaml index 2cb64046..ff8019f8 100644 --- a/compose.yaml +++ b/compose.yaml @@ -22,23 +22,58 @@ services: memory: 1G restart: unless-stopped - s3: + s3-core: image: chrislusf/seaweedfs:4.51 entrypoint: ["weed"] command: - server - - -s3 - -dir=/data - - -s3.config=/run/secrets/s3_config - - -s3.port=8333 - - -s3.autoCreateBucket=false - - -s3.concurrentFileUploadLimit=10 - - -s3.concurrentUploadLimitMB=100 - - -s3.readerCacheSizeMB=64 - secrets: - - s3_config + - -filer=true + - -s3=false volumes: - seaweed_data:/data + healthcheck: + test: + - CMD-SHELL + - "curl --fail --silent http://127.0.0.1:8888/ >/dev/null" + interval: 3s + timeout: 2s + retries: 30 + start_period: 10s + networks: + - seaweed_internal + deploy: + resources: + limits: + cpus: "1.0" + memory: 1G + restart: unless-stopped + + s3: + image: chrislusf/seaweedfs:4.51 + entrypoint: ["weed"] + command: + - s3 + - -filer=s3-core:8888 + - -config=/run/secrets/s3_config + - -port=8333 + - -port.https=0 + - -port.grpc=0 + - -port.iceberg=0 + - -port.lance=0 + - -concurrentFileUploadLimit=10 + - -concurrentUploadLimitMB=100 + - -readerCacheSizeMB=64 + - -autoCreateBucket=false + - -ip.bind=0.0.0.0 + secrets: + - s3_config + depends_on: + s3-core: + condition: service_healthy + networks: + - default + - seaweed_internal healthcheck: test: - CMD-SHELL @@ -144,6 +179,35 @@ services: stop_grace_period: 20s restart: unless-stopped + reconciler: + build: + context: . + dockerfile: Dockerfile + command: ["sh", "scripts/reconcile-loop.sh"] + environment: + DATABASE_URL_FILE: /run/secrets/database_url + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + S3_ENDPOINT: http://s3:8333 + S3_REGION: us-east-1 + S3_BUCKET: messenger-attachments + DB_POOL_MAX_SIZE: "2" + RECONCILE_INTERVAL_SECONDS: ${RECONCILE_INTERVAL_SECONDS:-900} + RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-3600} + secrets: + - database_url + - s3_access_key_id + - s3_secret_access_key + depends_on: + migrate: + condition: service_completed_successfully + deploy: + resources: + limits: + cpus: "0.5" + memory: 256M + restart: unless-stopped + load_balancer: image: haproxy:3.0.7-alpine ports: @@ -184,3 +248,7 @@ secrets: volumes: postgres_data: seaweed_data: + +networks: + seaweed_internal: + internal: true diff --git a/scripts/reconcile-loop.sh b/scripts/reconcile-loop.sh new file mode 100644 index 00000000..cbd430f4 --- /dev/null +++ b/scripts/reconcile-loop.sh @@ -0,0 +1,33 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +interval=${RECONCILE_INTERVAL_SECONDS:-900} +grace=${RECONCILE_GRACE_SECONDS:-3600} + +case "$interval" in + ''|*[!0-9]*) + echo "RECONCILE_INTERVAL_SECONDS must be an integer" >&2 + exit 2 + ;; +esac +case "$grace" in + ''|*[!0-9]*) + echo "RECONCILE_GRACE_SECONDS must be an integer" >&2 + exit 2 + ;; +esac +if [ "$interval" -lt 60 ]; then + echo "RECONCILE_INTERVAL_SECONDS must be at least 60" >&2 + exit 2 +fi +if [ "$grace" -lt 60 ]; then + echo "RECONCILE_GRACE_SECONDS must be at least 60" >&2 + exit 2 +fi + +while : +do + python3 src/reconcile.py --grace-seconds "$grace" --apply + sleep "$interval" +done diff --git a/scripts/restart.sh b/scripts/restart.sh index b2f3e366..20ee6b29 100755 --- a/scripts/restart.sh +++ b/scripts/restart.sh @@ -1,8 +1,10 @@ #!/bin/sh set -eu cd "$(dirname "$0")/.." -docker compose restart postgres s3 -docker compose up -d --wait postgres s3 +docker compose restart postgres s3-core +docker compose up -d --wait postgres s3-core +docker compose restart s3 +docker compose up -d --wait s3 attempt=0 until docker compose exec --index 1 -T api python3 -c 'from src.object_store import ObjectStore; store = ObjectStore(); key, _ = next(store.objects()); store.get(key, 10485760)' >/dev/null 2>&1; do attempt=$((attempt + 1)) diff --git a/src/handlers.py b/src/handlers.py index 51da7252..399c903f 100644 --- a/src/handlers.py +++ b/src/handlers.py @@ -7,6 +7,7 @@ import time import tempfile import uuid import warnings +import zlib from http.server import BaseHTTPRequestHandler from typing import Any, BinaryIO, Dict, List, Optional, Tuple from urllib.parse import parse_qs, urlsplit @@ -59,6 +60,7 @@ class RequestGuard: REQUEST_GUARD = RequestGuard() UPLOAD_GUARD = threading.BoundedSemaphore(MAX_CONCURRENT_UPLOADS) +IMAGE_DECODE_GUARD = threading.BoundedSemaphore(1) class MessengerHandler(BaseHTTPRequestHandler): @@ -409,6 +411,12 @@ class MessengerHandler(BaseHTTPRequestHandler): raise ApiError(413, "payload_too_large", "Image exceeds the 40 million pixel limit") image.verify() content.seek(0) + with IMAGE_DECODE_GUARD: + with warnings.catch_warnings(): + warnings.simplefilter("error", Image.DecompressionBombWarning) + with Image.open(content) as image: + image.load() + content.seek(0) return content, actual_type, size, digest.hexdigest() except ApiError: content.close() @@ -416,7 +424,7 @@ class MessengerHandler(BaseHTTPRequestHandler): except (Image.DecompressionBombError, Image.DecompressionBombWarning): content.close() raise ApiError(413, "payload_too_large", "Image exceeds the 40 million pixel limit") from None - except (UnidentifiedImageError, OSError, SyntaxError, ValueError): + except (UnidentifiedImageError, OSError, SyntaxError, ValueError, zlib.error): content.close() raise ApiError(415, "unsupported_media_type", "Image is damaged or unsupported") from None diff --git a/student-tests/test_attachments.py b/student-tests/test_attachments.py index 0890f7ad..971c81d4 100644 --- a/student-tests/test_attachments.py +++ b/student-tests/test_attachments.py @@ -54,6 +54,16 @@ def main(): + struct.pack(">I", zlib.crc32(kind + payload) & 0xFFFFFFFF) ) + bad_idat = bytearray(zlib.compress(b"\x00\x10\x20\x30")) + bad_idat[-3] ^= 0xFF + damaged_idat = ( + b"\x89PNG\r\n\x1a\n" + + chunk(b"IHDR", struct.pack(">IIBBBBB", 1, 1, 8, 2, 0, 0, 0)) + + chunk(b"IDAT", bytes(bad_idat)) + + chunk(b"IEND", b"") + ) + upload(client, alice, chat["id"], damaged_idat, expected=415) + too_many_pixels = ( b"\x89PNG\r\n\x1a\n" + chunk(b"IHDR", struct.pack(">IIBBBBB", 10001, 4000, 8, 2, 0, 0, 0)) diff --git a/student-tests/test_reconcile_integration.py b/student-tests/test_reconcile_integration.py index be6ccb7b..e3267ee0 100644 --- a/student-tests/test_reconcile_integration.py +++ b/student-tests/test_reconcile_integration.py @@ -44,9 +44,25 @@ finally: """ PRIVATE_CHECK_CODE = """ +import socket import sys import urllib.error import urllib.request + +try: + socket.getaddrinfo("s3-core", 8888) +except socket.gaierror: + print("PASS: SeaweedFS master/filer network is isolated") +else: + raise RuntimeError("API network can resolve the SeaweedFS core service") + +for port in (8181, 9101): + try: + socket.create_connection(("s3", port), timeout=1).close() + except OSError: + continue + raise RuntimeError("unexpected SeaweedFS gateway interface is reachable on port " + str(port)) + try: urllib.request.urlopen("http://s3:8333/messenger-attachments/", timeout=3) except urllib.error.HTTPError as error: