- тело загрузки: один буфер ровно Content-Length, без копий до S3 и djpeg; - PNG: zlib получает вход кусками по 64 KiB (unconsumed_tail копировал остаток IDAT); - djpeg, убитый OOM-killer'ом, -> 503 (ресурсы сервера), а не 415; - api: memswap_limit = memory (жёсткий лимит без swap); S3: GOMEMLIMIT и лимиты одновременных загрузок SeaweedFS, память 1g; - docs: CONSISTENCY.md, DEFENSE.md, WINDOWS.md, DATA_MODEL.md под lab4; scripts/demo_attachments.py для сценария защиты; CI и collect_evidence под lab4; - bench/reconcile_faults.py: отчёты трека 2 (ошибки с обеих сторон, прерванный apply). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
8.6 KiB
Ответы на вопросы защиты ЛР 4
Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
- Volume принадлежит одному контейнеру. Файл, загруженный через реплику api-1, лежит только у неё. Запрос, который LB отправил на api-2, его не найдёт. Если api-1 остановлена (failover, rolling update, scale down), файл недоступен вовсе. В нашем стенде у сервиса
apiнет ни одного volume: реплики взаимозаменяемы, и тест «загрузка → kill обслужившей реплики → скачивание через другую» проходит (test_storage_failures.py). - Общий bind-mount на одном хосте тоже не выход. Он привязывает все реплики к одной машине, не даёт атомарной записи объекта, проверки целостности (Content-MD5), отдельных прав доступа и HTTP-API для других сервисов (worker в lab5 возьмёт тот же объект по ключу).
- S3-сервер — отдельный процесс со своим жизненным циклом и своим volume (
s3data): он переживает перезапуск и замену API. Права в нём задаются по ключам: у API — только Read+Write своего bucket, без List и без создания bucket.
Когда можно честно вернуть 201?
Когда оба хранилища подтвердили запись: S3 ответил на PUT, проверив Content-MD5, и после этого закоммичен UPDATE attachments SET status='ready'. До этого клиент не получает id вложения. Перед записью проходят все проверки: лимиты, полная проверка изображения, SHA-256. Ответ 201 на «принял в память» или «записал строку, а PUT ещё идёт» был бы ложью: после сбоя по такому id ничего не скачать. Подробно: CONSISTENCY.md.
Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
Строка-намерение pending с ключом объекта закоммичена до PUT, поэтому объект не «потеряется»: БД знает его ключ.
- Клиент получает 503 и может повторить: получится новое вложение, контракт это разрешает.
- Строка остаётся
pending, вложение невидимо (GET → 404, прикрепить → 404). - Janitor через
PENDING_GRACE_SECONDS(900 с) подFOR UPDATEудаляет объект, затем строку. Проверено внедрением отказаFAULT_POINTS=after_s3_put: строка и объект исчезают (test_consistency.py). - Если упал не COMMIT, а ответ на него (COMMIT прошёл), в обработчике ничего не удаляется: неизвестно, стала ли строка
ready. ПровереноFAULT_POINTS=after_ready_commit: файл цел и скачивается. - Объекты, о которых БД не знает вовсе (ручные действия, старые версии), находит reconciler (трек 2) и удаляет, если они старше grace.
Почему случайный object key и приватный bucket не заменяют ACL приложения?
- Приватный bucket запрещает анонимный доступ к S3, но решение «может ли этот пользователь читать этот файл» принимает только приложение: оно знает участников чата. Ключи S3 у API одни на всех пользователей. Поэтому каждый
GET /attachments/{id}и/contentпроверяет членство в чате, посторонний получает 404 (не 403 — существование чужого вложения не раскрывается). - Случайный ключ — защита от перебора, а не авторизация. Ключ может утечь (логи, отладка, бывший участник чата). Удалённого из чата пользователя в нашем API нет, но в общем случае доступ должен отзываться — а ключ, если бы он был единственной защитой, остался бы действующим навсегда. Поэтому ключ не попадает ни в один ответ API, а байты отдаются только через авторизованный API, без redirect на S3.
- То же проверено снаружи: анонимный GET/LIST к S3 → 403 (bootstrap
s3-initи тест), а запрос с ключом API работает — значит, права проверяет S3, а доступ пользователей — приложение.
Частые уточняющие вопросы
Как ограничена память? Одна загрузка — один буфер ≤ 10 MiB (при известном Content-Length выделяется ровно этот объём, без копий). На реплику одновременно принимается не больше UPLOAD_CONCURRENCY=4 тел. Остальные ждут ≤ 5 с, их байты остаются в TCP-буферах (backpressure), потом 503 + Retry-After. Полная проверка изображения выполняется по одной (IMAGE_VERIFY_CONCURRENCY=1). Пиксели проверяются по заголовку ещё до чтения остального тела. Замер ≥ 10 одновременных загрузок: REPORT.md.
Почему не Pillow для проверки? Для PNG Pillow создаёт растр целиком (40 Мпикс RGBA = 160 МБ), а наш валидатор проверяет CRC и zlib-поток потоково и ничего не хранит. Для JPEG Pillow игнорирует предупреждения libjpeg и возвращает серую картинку для файла без данных после SOS. djpeg -strict считает любое предупреждение ошибкой, а -scale 1/8 декодирует все блоки, но пишет растр в 64 раза меньше.
Что если S3 недоступен? /health/ready → 503 (S3 входит в обязательный синхронный путь). Загрузка и скачивание → 503 за ≤ S3_TIMEOUT_SECONDS (3 с). HAProxy переключается на backend api_core с проверкой /health/ready/core (БД + Valkey): чаты и текстовые сообщения продолжают работать. Если S3 потеряла одна реплика, она DOWN в основном backend, и трафик идёт на другую.
Почему SeaweedFS, а не MinIO? Образы MinIO в Docker Hub больше не публикуются (репозиторий minio/minio удалён, проверено при выборе). SeaweedFS развивается и умеет identity с правами на bucket (Read:bucket, Write:bucket, List:bucket). Закреплён по digest (4.46, сентябрь 2026). Его web-интерфейсы (master, filer, volume) слушают только 127.0.0.1 внутри контейнера, телеметрия выключена.
Где dry-run гарантирует, что ничего не меняется? Не в коде планировщика, а в окружении: сессия PostgreSQL в dry-run открыта с default_transaction_read_only=on, объект S3 обёрнут без метода delete. Тест сравнивает отпечаток всей таблицы attachments и список ключей bucket до и после.