Evidence comes from the stand started from an empty state and from a fresh clone: the public smoke, the contract checks, lint and 325 own tests, the storage layout with an out-of-API comparison of a stored object against its metadata, failover of each replica under writes, the upload failover scenario, persistence with StartedAt of every service including S3, the S3 outage scenario and 22 S3 privacy and bootstrap checks. The storage evidence script now covers the attachment tables and the S3 secrets. REPORT.md follows the lab 4 template: launch from a clean clone, architecture with the source of truth for each fact, the write order between PostgreSQL and S3 and what each failure leaves behind, where each upload limit applies, roles and services, the .env.example mapping, grade 3 rows and the grade 3 failure table. The design notes the botocore Expect header that hung uploads behind the port proxy. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
33 KiB
Отчёт — лабораторная 4
- Автор, группа: Костылев Артём, БПИ2303
- Целевая оценка: 5; трек «5» — трек 2 «Согласованность двух хранилищ (reconciler)»
- Commit/PR: ветка
solution/bpi2303-kostylev, PR в репозиторий преподавателя - Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic,
structlog, asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии —
evidence/environment.txtиuv.lock); RustFS 1.0 иrc(IAM-политики, anonymous access, lifecycle), Amazon S3 User Guide (PutObject, GetObject, ListObjectsV2, политики bucket), botocore Config (таймауты, повторы, checksum), Pillow (Image.open,verify,draft, защита от decompression bomb), спецификация PNG (чанки и CRC), HAProxy 3.2 Configuration Manual, документация Docker Compose (secrets,depends_on, профили). Решение перенесено из моей лабы 3 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами, перечисленными ниже.
Запуск из чистого clone
Требуются Docker с Compose v2, make и системный Python 3.9+ (только для публичных проверок и сценариев).
Образы сторонних сервисов закреплены версией и digest, API собирается из исходников.
git clone <repo> && cd mtusi2026lab4 && git checkout solution/bpi2303-kostylev
make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора,
# root-ключи S3 и отдельный ключ API S3; .env из .env.example (существующее не перезаписывает)
docker compose --env-file .env config --quiet
make up # docker compose up -d --build --wait: postgres, valkey, s3 → migrate, s3-init → api ×2 → lb
make test # публичный smoke через балансировщик, http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore # вернуть остановленную реплику и дождаться её в ротации LB
make scenario SCENARIO=failover-upload # upload → стоп принявшей реплики → download через другую
make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты и метаданные работают
make s3-check # приватность bucket вне API, права ключа API, повторный bootstrap
make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются
make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v
make up ждёт healthy всех долгоживущих сервисов и успешного завершения одноразовых migrate (миграции под
advisory lock) и s3-init (bucket, анонимный доступ private, политика и пользователь API, lifecycle). Оба
повторяемы: повторный make up или restart.sh проходит без изменений состояния. Наружу публикуются только
порты lb на 127.0.0.1: LB_HTTP_PORT (8080) и LB_STATS_PORT (8404). На машине, где выполнялась работа,
параллельно работали стенды других лаб, поэтому в локальном .env стояли LB_HTTP_PORT=18084,
LB_STATS_PORT=24084, а проверки запускались с BASE_URL=http://localhost:18084. Прогон из свежего clone —
evidence/clean-clone.txt.
Собственные проверки и тулчейн:
make install # uv sync --group dev (Python 3.14 и зависимости из uv.lock)
make lint # ruff check + ruff format --check (src, student-tests, scripts/*.py стенда) + ty check
make student-test # собственные тесты; поднимают одноразовые PostgreSQL, Valkey и RustFS того же образа в Docker
make check # офлайн-проверка skeleton
make validate PYTHON="uv run --no-project --with-requirements requirements-dev.txt python" # полная валидация OpenAPI
make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, версии
make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore
make attachments-evidence # где лежат байты: \d attachments, bucket, сверка вне API, read_only реплик
make failover-evidence # docker inspect реплик до/после, make test-failover, логи остановленной, restore
make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после
Версии и стенд: Python 3.14.7 в образе python:3.14-slim-trixie@sha256:51dafde8…,
rustfs/rustfs:1.0.4@sha256:ed9210d6…, rustfs/rc:v0.1.36@sha256:ab024bfe…,
haproxy:3.2.26-alpine@sha256:58938405…, postgres:17.11-alpine@sha256:266d3c25…,
valkey/valkey:8.1.11-alpine@sha256:2602ace2…, uv 0.9.7 по digest; aiobotocore 3.10.0 (botocore 1.43.117),
Pillow 13.0.0; Docker 28.3.2, Compose 2.38.2. Машина — Apple M4 Max, 16 CPU, 48 ГБ RAM, macOS 15.1; VM Docker
Desktop — 16 CPU, 7.65 ГиБ (evidence/environment.txt).
Архитектура и решения
┌── api (gunicorn, 2 × UvicornWorker) ─┐ asyncpg pool ┌▶ postgres (метаданные, pgdata)
клиент ──HTTP──▶ lb (HAProxy 3.2) ────┤ X-Instance-Id = hostname ├────────────────────┼▶ valkey (кэш сессий, AOF)
127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ─┘ aiobotocore └▶ s3: RustFS (байты, s3data)
httpchk /health/ready migrate (образ api, один раз) ──▶ postgres
s3-init (rc, один раз) ──▶ s3: bucket private, пользователь и политика API
сеть edge ─────── lb ─────── сеть backend (internal): lb, api, migrate, postgres, valkey, s3, s3-init, s3-cli
Источник истины. PostgreSQL — для всего, что знает API о вложении: владелец, чат, отображаемое имя, тип по
содержимому, размер, SHA-256, размеры в пикселях, ключ объекта, статус и связи с сообщениями. S3 (RustFS) — только
для байтов оригинала под ключом attachments/<uuid7>, который назначает сервер. Реплика API не хранит файлов:
корень только для чтения, tmpfs /tmp нужен лишь heartbeat gunicorn, volume у api нет
(evidence/storage-layout.txt).
Перенесено из лабы 3 без изменения поведения: зоны identity и messaging, порты и адаптеры, UoW, шина
событий с журналом аудита, ASGI-конвейер, Basic → Bearer, Argon2id, сессии в PostgreSQL с кэшем в Valkey,
подписанный курсор, порядок истории под блокировкой строки чата, X-Instance-Id, обязательный
Idempotency-Key в одной транзакции с сообщением, HAProxy с проверкой готовности и политикой повторов, окно
вывода реплики из ротации по SIGTERM, хуки stop-one.sh, restore.sh, lb-wait.sh, проверки уровня «4» лабы 3.
Изменено: новая зона attachments; attachment_ids в сообщениях; миграция 0003; лимит тела в конвейере
зависит от маршрута; S3-сервисы в compose.yaml; restart.sh перезапускает и S3; политика scripts/limits.py
знает S3-сервисы.
Зона attachments и её связь с messaging. Зона владеет агрегатом Attachment (pending → ready),
значением Filename, своими ошибками, событием AttachmentStored, командой UploadAttachment, запросами
GetAttachment/OpenAttachment, портами ObjectStorage, ImageInspector, ChatMembership и HTTP-слоем. Ей нужен
один ответ от messaging — «входит ли пользователь в чат»; его даёт адаптер MessagingMembership над
ChatDirectory, который собирает main.py. Зоны не импортируют друг друга, SQL каждой зоны читает только свои
таблицы (оба правила проверяет тест test_bounded_contexts.py). Целостность между зонами держат внешние
ключи: attachments (chat_id, owner_id) → chat_members и message_attachments (attachment_id, chat_id) → attachments (id, chat_id) ON DELETE RESTRICT — сообщение может сослаться только на вложение своего чата,
нарушение превращается в 404 и откатывает всю отправку вместе с ключом идемпотентности, а используемое
вложение нельзя удалить.
Схема (0003_attachments.sql, evidence/schema.txt): attachments без bytea, CHECK на тип, размер
1..10485760, формат SHA-256, статус; object_key text COLLATE "C" UNIQUE (байтовый порядок, как у листинга S3);
частичный индекс (created_at) WHERE status = 'pending'; message_attachments с PK (message_id, position),
UNIQUE (message_id, attachment_id) и индексом по attachment_id. messages_text_check ослаблен до ≤ 4000:
пустой текст с вложением легален, пустой без вложений по-прежнему отсекает домен (400). История и повтор
читают attachment_ids подзапросом по PK message_attachments, без N+1 запросов. Отсутствующий
attachment_ids и [] дают один отпечаток тела для Idempotency-Key, другой порядок — 409.
Upload: где применяется каждый лимит. Тело читается потоком, FastAPI его не разбирает.
401— guard конвейера;- объявленный
Content-Length>MAX_UPLOAD_BYTES→413в конвейере, тело не читается (лимит 10 MiB только у маршрута upload, у JSON остаётся 1 MiB); - членство в чате →
404(раньше любых проверок содержимого); filenameпосле percent-decode: 1–255 code points, не пробельный, без/,\и символов категорииCc(NUL,\x01,\x7f, перевод строки…) → иначе400; используется только для отображения;Content-Typeбез параметров и регистра ∈ {image/png,image/jpeg} → иначе415;- поток копится со счётчиком и инкрементальным SHA-256; байт
MAX_UPLOAD_BYTES + 1→413, дальше не читаем (так закрыт и chunked безContent-Length); - проверка изображения в потоке под семафором (
IMAGE_CHECK_CONCURRENCY=2на воркер):Image.openтолько PNG/JPEG читает заголовок; формат ≠ заявленному →415(подмена MIME);width × height > MAX_IMAGE_PIXELS→413до декодирования (decompression bomb 100 000 × 100 000 весом 300 байт отклоняется по заголовку); PNG —verify()(все чанки, CRC,IEND, без распаковки пикселей), JPEG —draftв 1/8 +load()(полное декодирование потока, ≈1/64 памяти); ошибка →415; - запись (ниже).
Порядок записи PostgreSQL ↔ S3. INSERT attachments (status='pending') и COMMIT → PutObject →
UPDATE … SET status='ready' и COMMIT → 201. Намерение фиксируется до PUT, поэтому у любого объекта под
attachments/ есть строка с тем же ключом; pending не видно ни в метаданных, ни в скачивании, а сослаться на него
нельзя — id отдаётся только в 201.
| Сбой | Что остаётся | Ответ клиенту |
|---|---|---|
обрыв клиента, 413, 415, 400, 404 |
ничего: строка пишется только после чтения и проверки | ошибка или обрыв |
INSERT pending |
ничего | 503 |
PutObject (S3 недоступен) |
невидимая строка pending без объекта |
503 |
UPDATE ready |
невидимая строка pending и объект |
503 |
после COMMIT ready |
готовое вложение | 201 |
Строки pending после сбоя убирает механизм компенсации и очистки с grace period — изменение уровня «4».
Скачивание. Строка ready по PK → членство → GetObject до отправки заголовков (пропавший объект → 404 с
событием attachment.object_missing в журнале, недоступный S3 → 503) → StreamingResponse кусками 64 KiB с
Content-Type из метаданных, Content-Length из S3, X-Content-Type-Options: nosniff, Cache-Control: private, no-store; Accept не учитывается, redirect нет, X-Request-Id/X-Instance-Id ставит конвейер. variant — только
original, иное → 400.
Клиент S3. Один клиент aiobotocore на воркер (scope APP dishka): path-style, SigV4, регион S3_REGION,
connect_timeout=1, read_timeout=2, 2 попытки, checksum when_required. Обработчик botocore, добавлявший
Expect: 100-continue к телу PutObject, снят: aiohttp ждал 100 Continue, RustFS за прокси портов его не
присылал, и запись висела до read timeout — это нашёл тест адаптера против настоящего RustFS. Ошибки соединения,
таймауты и 5xx → 503 unavailable; ключи S3 в журнал и ответы не попадают.
Готовность. /health/ready от S3 не зависит. Если бы зависела, при падении S3 балансировщик вывел бы все
реплики, отказали бы и тексты, а ответы LB не несут X-Instance-Id. Сейчас upload и скачивание получают 503 от
приложения за ≤2,6 с, а тексты и метаданные работают (evidence/s3-outage.json).
Цепочка таймаутов: клиент smoke/resilience 10/2 с; LB timeout server 10 с > REQUEST_TIMEOUT_SECONDS 8 с >
худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload:
disable-l7-retry снят только для GET и POST …/messages с ключом, повтор отказа соединения безопасен (запрос
не ушёл).
Роли и сервисы (compose.yaml; сети edge и backend с internal: true):
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| load_balancer | lb |
haproxy:3.2.26-alpine@sha256:58938405…, uid 99, read_only |
/healthz :8404; реплики — GET /health/ready |
нет | edge + backend; 127.0.0.1:${LB_HTTP_PORT:-8080}, 127.0.0.1:${LB_STATS_PORT:-8404} |
нет |
api ×API_REPLICAS |
api |
сборка из Dockerfile, uid 10001, read_only + tmpfs /tmp |
GET /health/ready (PostgreSQL) |
нет | backend, без портов |
database_url, cache_url, cursor_secret, s3_access_key_id, s3_secret_access_key через *_FILE |
| postgres (метаданные) | postgres |
postgres:17.11-alpine@sha256:266d3c25…, uid 70 |
pg_isready |
pgdata |
backend |
postgres_password через POSTGRES_PASSWORD_FILE |
| s3 | s3 |
rustfs/rustfs:1.0.4@sha256:ed9210d6…, uid 10001, read_only, cap_drop: ALL, консоль выключена |
curl /health/ready |
s3data:/data |
backend, :9000 без публикации |
root: s3_root_user, s3_root_password через RUSTFS_*_FILE |
| bootstrap S3 | s3-init |
rustfs/rc:v0.1.36@sha256:ab024bfe…, read_only |
код выхода 0 | нет (infra/s3 только для чтения) |
backend |
root-ключи и ключ API (создаёт пользователя) |
операторский CLI (профиль tools) |
s3-cli |
тот же rc |
нет | нет | backend |
aliases root, api, anon |
| сессии (кэш) | valkey |
valkey/valkey:8.1.11-alpine@sha256:2602ace2…, uid 999 |
valkey-cli ping |
valkeydata (AOF) |
backend |
valkey.conf |
| bootstrap схемы | migrate |
образ api, restart: "no" |
код выхода 0 | нет | backend |
database_url |
нагрузка (профиль bench) |
k6 |
grafana/k6:2.3.0@sha256:2dd4756e… |
нет | нет | edge |
нет |
Приватный bucket создаёт infra/s3/init.sh: rc bucket create --ignore-existing, rc bucket anonymous set private,
политика messenger-api из infra/s3/api-policy.json (Get/Put/DeleteObject, abort/list multipart на
messenger-attachments/*, ListBucket и GetBucketLocation на сам bucket), пользователь API с ключом из
secrets/, lifecycle «незавершённый multipart старше суток удаляется», самопроверка анонимной политики и
привязки. Root-ключи есть только у s3, s3-init и s3-cli (evidence/storage-layout.txt, make limits).
MinIO не выбран: minio/minio удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от
root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli
0.5/64m, migrate 0.5/256m, postgres 2/1g, valkey 0.5/128m.
Соответствие .env.example реальной конфигурации:
.env.example |
В решении | Комментарий |
|---|---|---|
APP_HOST, APP_PORT |
HOST, PORT |
заданы в образе (0.0.0.0:8080); снаружи — порт LB |
APP_ENV |
не используется | режимов окружения нет |
SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS |
те же | 3600 и 86 400 |
DATABASE_URL_FILE, CACHE_URL_FILE |
те же | любой параметр читается из <ИМЯ>_FILE |
SESSION_STORE=postgres |
фиксировано | PostgreSQL — источник истины сессий, Valkey — кэш |
API_REPLICAS |
deploy.replicas: ${API_REPLICAS:-2} |
число реплик api |
S3_ENDPOINT, S3_REGION, S3_BUCKET |
те же у api, s3-init, s3-cli; RUSTFS_REGION у s3 |
http://s3:9000, us-east-1, messenger-attachments |
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE |
те же | ключ API, не root |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
те же | 10 485 760 и 40 000 000; больше контракта задать нельзя (валидация настроек) |
| — | S3_CONNECT_TIMEOUT_SECONDS, S3_READ_TIMEOUT_SECONDS |
1 и 2 с; две попытки укладываются в 8 с запроса |
| — | IMAGE_CHECK_CONCURRENCY, S3_MEMORY |
параллельные проверки изображений на воркер; лимит памяти RustFS |
| — | LB_HTTP_PORT, LB_STATS_PORT, API_CPUS, API_MEMORY, WEB_CONCURRENCY, DB_POOL_MAX_SIZE, API_SERVER_MAXCONN, DRAIN_SECONDS, PG_*, K6_*, CURSOR_SECRET_FILE |
как в лабе 3 |
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test BASE_URL=http://localhost:18084 |
PASS: lab4 public API scenario (upload fixture → 201 ready, сообщение text="" с attachment_ids, скачивание bob побайтно с image/png, eve 404 на метаданные и /content, весь минимум lab2–lab3) |
evidence/smoke.txt |
| Запуск из чистого clone | git clone, make secrets, config --quiet, make up, make test |
valid; все сервисы Healthy, migrate и s3-init Exited (0); smoke PASS |
evidence/clean-clone.txt |
make check / make validate |
make check; make validate в venv с requirements-dev.txt |
PASS: offline skeleton structure…; PASS: full OpenAPI 3.1 and JSON Schema validation |
evidence/contract-checks.txt |
| Собственные тесты и линтер | make lint; make student-test |
ruff, формат, ty — All checks passed!; 325 passed |
evidence/student-tests.txt |
| 3.1 S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | make attachments-evidence (ps, \d attachments, bytea по схеме, листинг bucket, docker inspect) |
s3 healthy без портов; в схеме bytea только хеши токенов и отпечатки; 14 строк ready и 14 объектов attachments/<uuid>; у реплик ro=true, только tmpfs /tmp и bind секретов; данные S3 на volume s3data |
evidence/storage-layout.txt |
3.2 201 ready только после записи объекта и COMMIT; побайтное скачивание вторым участником, SHA-256 |
smoke; make student-test (test_storage_failure_leaves_nothing_visible: S3 отказал → 503, строка pending, вложения нет); сверка вне API |
sha256 и размер последней строки ready в PostgreSQL равны sha256 и размеру объекта, прочитанного rc из bucket (99ea7533…, 111817) |
evidence/smoke.txt, evidence/student-tests.txt, evidence/storage-layout.txt |
3.3 Message с attachment_ids читается участниками; посторонний 404; анонимный GET в S3 — 403 |
smoke; make student-test (test_message_attachments.py, test_attachments.py); make s3-check |
eve 404 на метаданные и /content; вложение другого чата и неизвестное → 404, 11 и дубли → 400, посторонний с 11 → 404; прямой HTTP GET объекта из отдельного контейнера → 403, анонимные Head/List/Put → deny, политика private |
evidence/smoke.txt, evidence/student-tests.txt, evidence/s3-security.txt |
3.4 PNG/JPEG ≤10 MiB и ≤40 MP; MIME по содержимому; опасные filename; лимиты до неограниченного чтения/декодирования |
make student-test (test_attachments.py, test_attachments_domain.py) |
ровно 10 485 760 B → 201, +1 B с Content-Length и chunked → 413 без строки; 8000×5000 → 201, 8001×5000 и 100 000×100 000 → 413 по заголовку; JPEG/GIF/WebP/текст как PNG, PNG как JPEG, обрезанные PNG/JPEG, пустое тело, application/octet-stream, без Content-Type → 415; ../a.png, a/b.png, a\b.png, %00, %01, %7F, пустое, пробельное, 256 символов, без параметра → 400; кириллица и 255 символов → 201 |
evidence/student-tests.txt |
| 3.5 Upload → остановка обслужившей реплики → download через другую | make scenario SCENARIO=failover-upload |
upload принят 196b3a876d81, хук остановил её за 2,69 с, скачивание через 8bd1d38428d0 через 2,70 с от старта хука, SHA-256 равен, реплика возвращена |
evidence/failover-upload.json |
| 3.5 Остановка каждой реплики под записью (публичный хук) | make failover-evidence дважды, между прогонами restore и сдвиг round robin |
196b3a876d81: первая запись через 2,74 с, 129 записей, 0 ошибок; 8bd1d38428d0: 3,08 с, 127, 0; target в exited, в логе — сигнал, окно readiness 503, выход; вложение после отказа читается bob; PASS: failover … |
evidence/failover-196b3a876d81.txt, evidence/failover-8bd1d38428d0.txt |
| 3.6 Restart с сохранением volumes сохраняет метаданные и оригинал | make persistence-evidence |
PASS: persistence … (после хука один GET метаданных и один /content без повторов совпали); StartedAt у lb, обеих api, postgres, valkey, s3, migrate, s3-init новее, контейнеры те же |
evidence/persistence.txt |
| 3.7 Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | make scenario SCENARIO=s3-outage |
при остановленном s3: upload 503 за 0,98 с, /content 503 за 2,53 с, метаданные 200, текст 201, /health/ready 200; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 |
evidence/s3-outage.json |
| 3.8 Закреплённая версия образа S3 и создание приватного bucket | compose.yaml, infra/s3/init.sh; make s3-check |
образы по digest; s3-init пишет bucket=messenger-attachments anonymous=private policy=messenger-api; 22/22 проверки PASS, включая двойной повторный bootstrap без изменений |
evidence/s3-security.txt, evidence/environment.txt |
| 3.9 Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, секреты вне Git | make stack-evidence, make storage-evidence |
2 api без портов, container_name 0, LB видит api1/api2 UP L7OK 200; миграции 0001–0003, повтор up to date без изменения счётчиков; git ls-files secrets .env пуст, secrets/s3_* игнорируются |
evidence/stack.txt, evidence/schema.txt, evidence/migrations.txt, evidence/secrets.txt |
| Уровень «4» | — | заполняется изменением уровня «4» (компенсация и очистка, замер памяти, негативный suite стенда, ограниченные ключи) | — |
| Трек 2 | — | заполняется изменением трека 2 (reconciler) | — |
Эксперименты и отказы
Стенд: 2 реплики api (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker
Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи
smoke и fixture sample.png (111 817 B). Нагрузочные измерения загрузок — уровень «4».
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
Остановлена реплика, принявшая upload (failover-upload) |
скачивание через другую реплику, тот же SHA-256 | download 200 через 8bd1d38428d0, SHA-256 равен |
2,70 с от старта хука; потерь нет |
Остановлена реплика под записью (make test-failover, обе реплики) |
запись восстанавливается ≤10 с, дублей нет, вложение читается | 2,74 и 3,08 с, 0 ошибок, история без дублей, вложение байт-в-байт | ≤3,1 с; потерь нет |
| Перезапуск LB, API, PostgreSQL, Valkey, S3 с volumes | метаданные, байты, сессия и история на месте | однократные GET метаданных и /content сразу после хука совпали |
хук ждёт healthy S3; потерь нет |
docker compose stop s3 |
upload и /content → 503 за ограниченное время; тексты, метаданные, readiness работают |
503 за 0,98 и 2,53 с; текст 201, метаданные и readiness 200 |
S3 healthy через 5,8 с; файл тот же; неудачный upload оставил одну невидимую строку pending (уборка — уровень «4») |
Посторонний: метаданные, /content, upload в чужой чат, ссылка на чужое вложение |
404 без раскрытия |
404 во всех случаях, раньше проверок содержимого |
— |
| Анонимный клиент S3 из сети стенда | 403 |
прямой GET 403, Head/List/Put — deny |
— |
Тело 10 485 761 B (Content-Length и chunked), PNG 100 000 × 100 000 |
413 до чтения сверх лимита и до декодирования |
413; строк и объектов не появилось |
— |
Ограничения и следующие шаги
- Один Docker-host: RustFS работает одним узлом без parity, S3 и PostgreSQL — единственные точки отказа; это не HA.
RustFS молод (GA 1.0.0 — 2026-09-16,
rc0.1.x), в 2025 у него были CVE; версия и digest закреплены. Community-образы MinIO недоступны, проект архивирован. verify()для PNG проверяет структуру и CRC всех чанков, но не распаковывает пиксели: PNG с корректными CRC и испорченным zlib-потоком будет принят. Оригинал отдаётся побайтно, серверу это не вредит; полная распаковка стоила бы до 160 MB на 40 MP.- Строки
pendingпосле сбоя S3 илиCOMMITостаются до уровня «4»: компенсирующийDeleteObject, очистка по grace period и сверка — следующие изменения; трек 2 добавляет reconciler. - Одновременные загрузки на уровне «3» не ограничены: каждая держит до 10 MiB (на миг склейки — 20 MiB); лимит параллелизма и замер пика памяти — уровень «4».
- Ранний
413/404до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные тесты проверяют413черезContent-Length. - Подтверждено прогонами: всё в таблице доказательств. Гипотезы: поведение под нагрузкой загрузок и стоимость сверки хранилищ — проверяются на уровне «4» и в треке 2.