Прогон scripts/collect_evidence.py на свежем clone (f9f5ab9) + повтор своих тестов,
публичных проверок и замера стоимости после найденных им исправлений.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
45 KiB
Отчёт — лабораторная 4
- Автор, группа: Боданюк Алексей, БВТ2302
- Целевая оценка: 5, трек 2 «Согласованность двух хранилищ»
- Ветка:
solution/bvt2302-bodanyuk. Форк:https://gitea.privcloud.tech/wfa/mtusi2026lab4. PR: «ЛР 4 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab4 - Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0, argon2-cffi 25.1.0, aiobotocore 3.9.2 (S3), libjpeg-turbo 2.1.5
djpeg(проверка JPEG); PostgreSQL 18.6, Valkey 8.1.3, HAProxy 3.2.26, SeaweedFS 4.46. Все образы закреплены по тегу и digest, все Python-пакеты — по sha256 (requirements.txt), Debian-пакет — по версии (Dockerfile) - Источники: README, COURSE, контракт (openapi.json, семантика), документация S3 (PutObject/Content-MD5, ListObjectsV2), SeaweedFS (
weed server, s3.json identities), PNG (RFC 2083 / W3C PNG 3rd ed.: chunks, CRC, zlib, фильтры, Adam7), libjpeg-turbo (djpeg -strict,-scale,-maxmemory), HAProxy 3.2 (nbsrv,use_backend,http-request set-timeout), cgroup v2 (memory.peak,memory.events). Учтены все замечания преподавателя к PR lab4 других студентов (раздел ниже) - Помощь ИИ: код, тесты, скрипты экспериментов и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже; вывод — в evidence/. Ответы на вопросы защиты — docs/DEFENSE.md, согласованность хранилищ — docs/CONSISTENCY.md, запуск на Windows и сценарий защиты — docs/WINDOWS.md
Запуск из чистого clone
Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1), Python 3.9+ и GNU make (на Windows — см. WINDOWS.md). Учётные данные в Git не хранятся, их создаёт скрипт.
git clone https://gitea.privcloud.tech/wfa/mtusi2026lab4 mtusi2026lab4 && cd mtusi2026lab4 && git checkout solution/bvt2302-bodanyuk
python3 scripts/init_secrets.py # пароли PostgreSQL/Valkey и ТРИ пары ключей S3 -> ./secrets (git-ignored), идемпотентно
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
# postgres, valkey, s3 healthy -> migrate (0001..0004) и s3-init (bucket + проверка прав) exit 0 -> api x2 healthy -> lb
docker compose logs s3-init # anonymous GET/LIST -> 403, права ключей api/reconciler -> OK
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore
make reconcile # трек 2: dry-run, read-only отчёт JSON
- Windows: публичным тестам нужен
PYTHONUTF8=1; хуки — черезscripts/restart.cmdиscripts/stop-one.cmd(тот же.shв Git Bash). - Свои тесты:
python3 -m venv .venv,pip install --require-hashes --no-deps -r requirements.txt,pip install -r requirements-test.txt, затемmake student-test(~25 мин, стенд должен быть поднят). Без стенда —make unit-test. - Все доказательства одной командой (на чистом clone, ~70 мин):
python scripts/collect_evidence.py. - Bootstrap S3 — одноразовый сервис
s3-init(python -m messenger.s3_bootstrap), идемпотентный: существующий bucket не трогает, sentinel-объект перезаписывает, затем проверяет модель доступа и валит стенд (exit 1), если bucket не приватный или у ключей лишние права. Повтор:docker compose run --rm s3-init. - Остановка: безопасно —
docker compose down(volumespgdata,valkeydata,s3dataсохраняются). Намеренное удаление учебных данных —docker compose down -vиrm -rf secrets.
Архитектура и решения
клиент ──127.0.0.1:8080──> lb: HAProxy 3.2 ──edge──> api × 2 (Starlette, без состояния и без volume)
│ backend api: /health/ready (PG + Valkey + S3) │
│ backend api_core: /health/ready/core (PG + Valkey) — только если ├─data (internal)──> postgres 18.6: users, chats, messages, attachments (метаданные)
│ в api нет ни одного UP (S3 упал у всех) │ valkey 8.1.3: сессии
└ upload: timeout server 60 s └─storage (internal)─> s3: SeaweedFS 4.46, bucket messenger-attachments (байты)
migrate ──data──> 0001…0004 s3-init ──storage──> bucket, sentinel, проверка прав reconciler (по требованию) ──data+storage──> сверка
| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials | CPU / RAM |
|---|---|---|---|---|---|---|---|
| Точка входа | lb |
haproxy:3.2.26-alpine@sha256:254e6370… |
haproxy -c + stats; бэкенды — активные проверки |
— | edge; 127.0.0.1:8080, [::1]:8080, 127.0.0.1:8404 |
нет | 1.0 / 128m |
| API × 2 | api |
mtusi-messenger:lab4 из исходников |
/health/ready (PG, Valkey, S3) |
— | edge + data + storage, только expose 8080 |
database_url, cache_url, своя пара S3 (Read+Write bucket) |
1.0 / 512m, без swap |
| Миграции | migrate |
тот же образ | exit 0 | — | data | database_url |
0.5 / 256m |
| Bootstrap S3 | s3-init |
тот же образ | exit 0 | — | storage | admin + api + reconciler (для проверки прав) | 0.5 / 256m |
| БД | postgres |
postgres:18.6-bookworm@sha256:afc7e2d4… |
pg_isready |
pgdata |
data | postgres_password |
2.0 / 1g |
| Сессии | valkey |
valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6… |
valkey-cli ping |
valkeydata |
data | valkey_password |
0.5 / 256m |
| Объекты | s3 |
chrislusf/seaweedfs:4.46@sha256:08d51613… |
GET /healthz |
s3data |
storage, 8333 (S3 API) — не опубликован |
identities из secrets (start.sh) | 1.0 / 1g |
| Сверка (трек 2) | reconciler (профиль tools) |
тот же образ | — | — | data + storage | database_url, пара S3 reconciler (+List) |
1.0 / 256m |
Что перенесено из lab3 (отдельный коммит d916d09, без изменений): API, миграции 0001–0003, HAProxy без sticky с re-resolve DNS, общая идемпотентность, graceful shutdown, сессии в Valkey, все тесты lab3. Что сделано в lab4:
- Выбор S3: SeaweedFS 4.46. Репозитория
minio/minioв Docker Hub больше нет (проверено при выборе), SeaweedFS активно развивается и поддерживает identity с правами на bucket. Один контейнер (weed server: master + volume + filer + S3 gateway). Web-интерфейсы master/filer/volume и их gRPC слушают только 127.0.0.1 внутри контейнера (-ip.bind), в сетьstorageвыходит лишь S3 API (8333/18333). Сеть internal, на хосте ничего не опубликовано. Телеметрия выключена, встроенный IAM API выключен, автосоздание bucket выключено. - Права. Три пары ключей (
init_secrets.py):admin(создание bucket) — только уs3иs3-init;messenger-api—Read+Writeна один bucket, безListиAdmin;messenger-reconciler— плюсList. Анонимной identity нет, поэтому bucket приватный.s3-initпроверяет всё это при каждом запуске, включая канареечный bucket: API не видит его в ListBuckets и не может читать из него (403). - Модель данных (0004_attachments.sql, DATA_MODEL.md):
attachments(метаданные;object_key = o/<128 случайных бит>назначает сервер;status pending|ready; карантинlost_at/lost_reason),message_attachments(FK + обратный поиск),messages.attachment_ids uuid[](порядок, чтение истории остаётся одним index range scan). Отправка сообщения — SQL-функцияpost_message_v2, тоже одна транзакция. - Загрузка (attachments.py, images.py):
auth → членство (404) → filename / Content-Type / Content-Length (400/415/413) → слот загрузки → тело кусками с дедлайном → формат и пиксели по первым байтам → полная проверка → pending → PUT → ready → 201. Подробно о порядке и сбоях — CONSISTENCY.md. - Проверка содержимого. PNG — свой потоковый валидатор: сигнатура, CRC каждого chunk, порядок chunk'ов, zlib-поток IDAT распаковывается порциями по 1 MiB и сразу выбрасывается, его длина должна быть ровно
height × (1 + байт в строке)(Adam7 — по проходам), байт фильтра каждой строки ≤ 4, IEND в конце и ничего после него. Растр в памяти не создаётся. JPEG —djpeg -strict -scale 1/8 -maxmemory: эталонный декодер в отдельном процессе декодирует весь файл, любое предупреждение libjpeg — ошибка. Pillow для этого не годится: JPEG без данных после SOS он «успешно» декодирует в серую картинку (проверено). MIME определяется по байтам; несовпадение сContent-Type— 415. - Лимиты до чтения/декодирования.
Content-Length > 10 MiB→ 413 без чтения тела; без длины (chunked) — 413 при пересечении лимита. Пиксели — из IHDR/SOFn по первым байтам: 20000×10000 → 413 через 33 байта, ничего не декодируется. Тело — один буфер ровноContent-Lengthбайт (без копий до S3 и djpeg). Одновременно на реплику:UPLOAD_CONCURRENCY=4тела (остальные ждут ≤ 5 с с байтами в TCP-буфере, затем 503 +Retry-After),IMAGE_VERIFY_CONCURRENCY=1полная проверка. Дедлайны: тело 30 с, проверка 10 с, S3 3 с (+ время на объём), в HAProxy для загрузкиtimeout server 60s. - Скачивание — только через API, без redirect: членство →
GETобъекта → стриминг кусками по 64 KiB (память не зависит от размера). Заголовки: настоящийContent-Type,Content-Length,Content-Disposition: attachment(ASCII-fallback + RFC 5987),X-Content-Type-Options: nosniff,Cache-Control: private, no-store,ETag= SHA-256. - Готовность и деградированный режим.
/health/readyвключает S3 (загрузка и скачивание — обязательный синхронный путь): S3 недоступен → 503. S3 — общая зависимость, и если он упал у всех, HAProxy переключается на backendapi_core(проверка/health/ready/core: PG + Valkey). Чаты и текст работают, запросы к вложениям API сам отвечает 503 за ≤ 3 с. Если S3 потеряла одна реплика, она DOWN вapi, трафик идёт на другую. - Janitor (в каждой реплике, раз в ~60 с, advisory-замок):
pendingстаршеPENDING_GRACE_SECONDS=900→ подFOR UPDATE SKIP LOCKEDудалить объект, затем строку. - Reconciler (трек 2) — reconcile.py, раздел «Трек 2» ниже.
FAULT_POINTS(after_s3_put,after_ready_commit) — внедрение отказа ровно между шагами записи, только для экспериментов. По умолчанию пусто; неизвестное значение — ошибка конфигурации.
Readiness-критичные зависимости: PostgreSQL, Valkey и S3. LB в деградированном режиме обходится без S3.
Соответствие .env.example реальной конфигурации (config.py, compose.yaml):
| Переменная | Значение | Где используется |
|---|---|---|
APP_HOST, APP_PORT, APP_ENV, SESSION_TTL_SECONDS, DATABASE_URL_FILE, SESSION_STORE, CACHE_URL_FILE, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS |
как в lab3 | без изменений |
S3_ENDPOINT, S3_REGION, S3_BUCKET |
http://s3:8333, us-east-1, messenger-attachments |
клиент S3 API, s3-init, reconciler; bucket создаёт s3-init |
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE |
/run/secrets/s3_access_key_id, …/s3_secret_access_key |
у API это его пара (secrets s3_api_* смонтированы под этими именами), у reconciler — его пара |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
10485760, 40000000 |
лимиты контракта; можно уменьшить, увеличить нельзя (ConfigError) |
UPLOAD_CONCURRENCY, UPLOAD_QUEUE_TIMEOUT_SECONDS, UPLOAD_READ_TIMEOUT_SECONDS |
4, 5, 30 |
слоты загрузки на реплику, ожидание слота, дедлайн тела |
IMAGE_VERIFY_CONCURRENCY, IMAGE_VERIFY_TIMEOUT_SECONDS, JPEG_MAX_MEMORY_MB |
1, 10, 256 |
одновременные полные проверки, дедлайн проверки, djpeg -maxmemory |
S3_TIMEOUT_SECONDS |
3 |
дедлайн каждого вызова S3 (PUT — плюс время на объём) |
PENDING_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS |
900, 60 |
janitor незавершённых загрузок |
FAULT_POINTS |
пусто | внедрение отказов в экспериментах |
API_CPUS/MEMORY, S3_CPUS/MEMORY, PG_*, VALKEY_CPUS, LB_CPUS |
1.0/512m, 1.0/1g, 2.0/1g, 0.5, 1.0 | лимиты контейнеров |
Доказательства критериев
Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 30 ГБ RAM, Docker Desktop 29.8.0 (WSL2), Python 3.14 на хосте, GNU make 4.4.1. Проверки выполнены 2026-10-25 на стенде из чистого clone (новая папка, git clone, пустые volumes, secrets созданы заново) одной командой python scripts/collect_evidence.py, коммит f9f5ab9. Этот прогон нашёл два дефекта (см. ниже). После исправления (коммиты 046e257, fc50362, 6fb70de) на том же стенде целиком повторены свои тесты, публичные make test / test-persistence / test-failover ×2 и замер стоимости обхода — final-commit-public-checks.txt.
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
|---|---|---|---|
| Чистый clone, secrets, миграции, bucket с нуля | init_secrets.py, compose config --quiet, compose up -d --build --wait, логи migrate и s3-init |
7 сервисов healthy / exit 0; 0001…0004: applied; bucket messenger-attachments: created; образы по digest |
clean-clone.txt |
| Контракт | make check, make validate |
PASS, PASS | make-check-validate-test.txt |
| 3: публичный smoke (checksum, посторонний) | make test |
PASS: lab4 public API scenario (и на финальном коммите) |
там же, final-commit-public-checks.txt |
| 3: S3 в стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | test_metadata_reveals_no_storage_details, test_original_is_not_stored_on_api_containers, политика compose |
строка ready + объект o/<hex> того же размера в bucket; в ФС реплик нет файла такого размера; у api нет volume |
student-tests.txt |
3: 201 ready, оригинал побайтно, сообщение с attachment_ids читают участники |
test_png_and_jpeg_roundtrip_byte_for_byte, test_message_with_attachments_and_history, scripts/demo_attachments.py |
PNG и JPEG: SHA-256 и размер совпадают; text="" + файл → 201; история возвращает attachment_ids по порядку |
там же |
| 3: реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения и декодирования | test_size_limit_through_the_load_balancer, test_exactly_40_megapixels_is_accepted, test_pixel_limit_before_decoding, test_bad_content_is_415 (16 случаев), test_bad_filename_is_400 (14) |
ровно 10 485 760 байт через LB → 201, +1 байт → 413 за < 5 с, chunked сверх лимита → 413; 8000×5000 → 201; 20000×10000 / 8001×5000 / JPEG 400 Мпикс → 413 за < 2 с | там же |
| 3: upload → остановка обслужившей реплики → download через другую | test_upload_survives_failover_of_the_serving_replica, make test-failover ×2 |
после SIGKILL обслужившей 5 скачиваний с другой реплики — те же байты; публичный тест для api-1 и api-2: 131 / 132 записи, 0 неудачных, оригинал на месте |
test-failover.txt |
| 3: restart с volumes сохраняет метаданные и оригинал | make test-persistence ACTION_SCRIPT=scripts/restart.cmd |
PASS; новые PID и StartedAt у lb, api-*, postgres, valkey, s3; прежний токен, файл скачивается |
test-persistence.txt |
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; ошибки пользователя не дают 500 |
test_attachments.py (56 тестов) |
413 / 415 / 400 / 404 по контракту; Api.call проверяет у каждого ответа формат ошибки, X-Request-Id, X-Instance-Id, отсутствие stack trace |
student-tests.txt |
| 4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; grace period | test_consistency.py (4), CONSISTENCY.md |
обрыв и зависание тела — ничего не записано; after_s3_put → pending + объект, janitor убирает оба (grace 3 с в тесте, 900 с в стенде); after_ready_commit → ничего не удалено, файл скачивается; свежий pending не тронут |
там же |
| 4: RAM одной загрузки ограничена; ≥ 10 одновременных загрузок с пиком памяти | bench/upload_memory.py (16 и 32 клиента) |
см. «Эксперименты»: пик +81…113 МБ и при 16, и при 32 клиентах (4 слота), лимит 512 МБ, 0 OOM процесса API | memory/summary.json |
| 4: bootstrap идемпотентен, отдельные ограниченные ключи S3, консоль закрыта, проверка приватности вне API | логи s3-init (при каждом up), test_bucket_is_private_outside_the_api, test_compose_policy_… |
anonymous GET/LIST → 403; ключ API: Read/Write да, List/CreateBucket/чужой bucket — нет; ключ reconciler: List да; повторный bootstrap — exists, kept as is; порты 9333/8888/8080 SeaweedFS недоступны из сети |
clean-clone.txt, student-tests.txt |
| 4: отказ S3 | test_s3_outage_is_503_and_text_keeps_working[stop/pause] |
readiness 503 на всех репликах (core 200), upload/download 503 за < 8 с, метаданные 200, текст работает (деградированный режим LB); после восстановления файл цел | там же |
| 5: трек 2 | test_reconcile.py (6), bench/reconcile_faults.py, bench/reconcile_cost.py |
см. раздел «Трек 2» | evidence/reconcile/ |
| Перенесённое из lab3 | все тесты lab3 (балансировка, идемпотентность, отказы БД/Valkey, explain) | проходят без ослабления; адаптированы только списки сервисов и миграций | student-tests.txt |
| Публичный генератор нагрузки | tests/load.py --duration 30 --concurrency 4 |
5416 успешных, 0 ошибок, 180 req/s, p50/p95/p99 = 18 / 49 / 64 мс | load.json |
| Свои тесты | python -m pytest student-tests -v |
316 passed, 4 skipped (113 unit + 203 против стенда, 21 мин); skipped — 4 unit-теста djpeg на хосте без libjpeg-turbo, те же случаи проходят на стенде | student-tests.txt |
Что нашёл прогон из чистого clone (f9f5ab9). 314 из 316 тестов прошли, два упали:
test_s3_outage_is_503_and_text_keeps_working[stop]. После stop/start S3 первое скачивание получало 503: в пуле aiobotocore оставались keep-alive соединения к старому процессу, а повторов не было. Исправлено одной повторной попыткой в том же дедлайне — все операции идемпотентны по ключу (storage.py,046e257).test_restart_does_not_extend_ttl. Рестарт Valkey и обеих реплик (readiness теперь ждёт и S3) длился дольше 12-секундного TTL теста. TTL теста увеличен до 30 с.
Ещё дефекты нашли замеры памяти до этого прогона:
- семафор загрузок отпускался сразу после чтения тела, а буфер жил до конца S3 PUT. При 32 клиентах пик рос до +214 МБ при 4 слотах. Теперь слот держится до конца загрузки (
277d06f); - djpeg, убитый OOM-killer'ом, давал 415 вместо 503 — исправлено;
- PNG-валидатор копировал остаток IDAT на каждом шаге (
unconsumed_tail) — исправлено.
И одну ошибку reconciler нашёл замер стоимости на том же стенде: --apply без --verify-checksums видел совпадающий размер и снимал карантин checksum_mismatch как restored_object, хотя сумму в этом режиме проверить не может. Теперь такой карантин снимает только проход с проверкой сумм (6fb70de). Тест дополнен, 6/6 тестов reconciler и smoke повторены на этом коммите — reconcile-fix-rerun.txt. Первый прогон своих тестов с двумя падениями сохранён как есть: student-tests-first-run-f9f5ab9.txt.
Проверки, на которых ловили другие работы
Замечания преподавателя к PR lab4 (#1–#13) других студентов, проверенные на своём стенде:
| Замечание к чужим PR | У нас | Где проверено |
|---|---|---|
| PNG с корректным IHDR и мусорным IDAT (86 байт), обрезанный PNG, первые 33 байта fixture, повреждение после первых 64 KiB → 201 | 415: CRC каждого chunk, zlib до точного размера, IEND обязателен | test_bad_content_is_415[png:*], unit test_broken_png_is_415 |
| JPEG без данных после SOS → 201 | 415: djpeg -strict (Pillow такой файл принимает — проверено) |
test_bad_content_is_415[jpeg: no scan data after SOS] |
| PNG 6–10 MiB → 413 HTML от nginx | HAProxy не ограничивает тело; ровно 10 485 760 байт → 201 через LB | test_size_limit_through_the_load_balancer |
20000×10000 → 500 (DecompressionBombError) |
413 по IHDR, ничего не декодируется; 40 000 000 px принимается, 40 005 000 → 413 | test_pixel_limit_before_decoding, test_exactly_40_megapixels_is_accepted |
img.load() до проверки размера (пик 252 МБ на файле 131 КБ) |
размер берётся из заголовка до чтения остального тела; растр PNG не создаётся вовсе | unit test_png_verification_is_streaming_and_fast (40 Мпикс < 5 с) |
| API получает admin-ключи MinIO и создаёт bucket | у API своя пара: CreateBucket → AccessDenied (проверяет s3-init) |
clean-clone.txt, test_compose_policy_… |
| S3 остановлен: readiness 200 / 500 за 9 с, upload 500 / 504 | readiness 503, upload 503 за < 8 с (S3 3 с), без 500 | test_s3_outage_…[stop/pause] |
filename с C1 (U+0085) или из пробелов %20%20%20 → 201 |
400; также /, \, NUL, TAB, U+2028, bidi U+202E, ., .., невалидный UTF-8, повтор параметра |
test_bad_filename_is_400 (14) |
{"attachment_ids":[A]}, {"text":null,…}, {"text":"x","attachment_ids":null} → 201 |
400 | test_message_body_validation (12) |
COMMIT прошёл, ответ потерян → API удаляет объект, остаётся ready без байтов |
в обработчике компенсации нет; janitor трогает только pending |
test_lost_answer_after_commit_never_deletes_the_object |
| dry-run продолжает частичное удаление | dry-run read-only на уровне БД (default_transaction_read_only) и S3-обёртки; промежуточного состояния «deleting» нет |
test_detect_and_safely_fix_faults_on_both_sides (отпечатки до/после) |
| тело накапливается целиком, рост RAM «не доказывает потоковость» | буфер ровно Content-Length, число буферов ограничено слотами; замер 16 и 32 клиентов |
memory/summary.json |
тест шлёт POST в чужой чат без Idempotency-Key; гонка считает 5xx конфликтом |
все POST сообщений в своих тестах — с ключом; Api.call требует точный ожидаемый код |
conftest.py |
Эксперименты и отказы
Уровень 4: память при ≥ 10 одновременных загрузках
Гипотеза: память реплики ограничена UPLOAD_CONCURRENCY × MAX_UPLOAD_BYTES плюс одна полная проверка (IMAGE_VERIFY_CONCURRENCY) и не зависит от числа клиентов.
Методика (bench/upload_memory.py):
- перед каждым сценарием реплики api пересоздаются: cgroup
memory.peakначинается с простоя; - N клиентов стартуют одновременно (barrier) через LB, у каждого свой файл;
memory.currentкаждой реплики снимается каждые 50 мс внутри контейнера; затем читаютсяmemory.peak(все процессы контейнера, включая djpeg),VmHWMпроцесса Python иmemory.events(OOM-kill) всех контейнеров.
Лимит api: 1 CPU, 512 МБ, swap выключен (memswap_limit). Файлы: PNG 9,42 МБ из шума (не сжимается), JPEG 8000×5000 progressive 4:4:4 (0,6 МБ, самый дорогой для декодера: ~240 МБ буферов коэффициентов). Один прогон на сценарий, коммит f9f5ab9, сырые данные — summary.json.
| Сценарий | Ответы | Пик реплик − простой (≈ 75 МБ) | Python VmHWM | OOM-kill |
|---|---|---|---|---|
| PNG ×16, 4 слота (по умолчанию) | 16 × 201, p50 3,6 с | +81 / +89 МБ | 153 МБ | 0 |
| PNG ×32, 4 слота | 25 × 201, 7 × 503 «слишком много загрузок» (+Retry-After) | +80 / +113 МБ — как при 16 | 144 / 181 МБ | 0 |
| PNG ×32, 16 слотов | 24 × 201, 8 × 503 «хранилище недоступно» | +209 / +193 МБ | 286 / 267 МБ | 0 |
| JPEG 40 Мпикс ×16, verify=1 (по умолчанию) | 16 × 201 | +242 / +242 МБ (djpeg) | 108 МБ | 0 |
| JPEG 40 Мпикс ×16, verify=4 | 2 × 201, 14 × 503 «не хватило ресурсов» | 512 / 512 МБ (лимит) | 111 / 92 МБ | 6 / 7 (djpeg) |
Выводы:
- Удвоение числа клиентов при тех же 4 слотах пик не меняет; лишние клиенты быстро получают 503 с
Retry-After, а их байты ждут в TCP-буферах, а не в процессе. - Повышение границы до 16 слотов поднимает пик в 2–2,5 раза и упирается уже в S3: SeaweedFS ограничивает одновременные загрузки, PUT не укладывается в дедлайн, клиент получает 503. Значит, 4 слота — разумная граница при 1 CPU.
- Полная проверка JPEG — самая дорогая часть. При одной проверке за раз пик +242 МБ укладывается в 512 МБ. При четырёх cgroup убивает djpeg; API это переживает, отвечает 503 (а не 415 — исправлено после первого замера) и не теряет ни процесс, ни другие запросы.
- S3 (SeaweedFS, лимит 1 ГБ,
GOMEMLIMIT=600MiB): anon-память 386–412 МБ;memory.currentдо 1 ГБ — это page cache записанных томов.
Ограничения. Один хост и один прогон на сценарий (разброс между прогонами в моих повторах — до ±25 МБ). Клиенты на том же хосте. Python не возвращает освобождённую память ОС мгновенно, поэтому VmHWM — верхняя оценка.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|---|---|---|---|
docker compose stop s3 |
readiness 503, вложения 503, текст работает | так и есть, загрузка 503 за < 8 с; HAProxy на api_core |
сразу после старта S3 (с повтором соединения); потерь нет |
docker compose pause s3 |
то же, ответ по дедлайну, а не зависание | 503 за ≤ 3 с + запас; readiness 503 | после unpause; потерь нет |
сбой между PUT и COMMIT (FAULT_POINTS=after_s3_put) |
503, pending + объект, уборка после grace |
так и есть, janitor убрал за ≤ 30 с при grace 3 с | мусор убран, ready-данные не затронуты |
потерян ответ после COMMIT (after_ready_commit) |
503, но файл цел | ready, объект на месте, скачивается |
ничего не удалено |
| клиент оборвал тело / застрял на середине | ничего не записано / 400 по дедлайну | 0 строк, 0 объектов; 400 с X-Instance-Id |
— |
| SIGKILL реплики, обслужившей загрузку | другая реплика отдаёт файл | 5/5 скачиваний, те же байты | — |
| stop одной реплики (публичный тест) ×2 | ≤ 10 с, без потерь и дублей | 0 неудачных записей, ~6 с до первой записи после хука (время самого docker stop с drain) |
— |
| restart всего стенда с volumes | данные, сессия и оригинал на месте | PASS, все 6 долгоживущих контейнеров с новым PID | — |
Трек 2: согласованность двух хранилищ
Гипотеза. Один повторяемый проход, который merge-join'ит упорядоченный листинг S3 и keyset-страницы attachments по object_key, находит все расхождения обеих сторон. Он безопасно исправляет их (dry-run ничего не меняет; свежие и используемые вложения не удаляются; повторный запуск идемпотентен), а стоит O(N) по запросам и O(1) по памяти. Устройство и правила — CONSISTENCY.md, код — reconcile.py.
Методика. Ошибки внедряются напрямую в хранилища: в S3 — изнутри сети storage ключами API/reconciler, в PostgreSQL — через psql. Затем запускается reconciler, сохраняется каждый JSON-отчёт. Повторяется тестом (test_reconcile.py, 6 тестов) и сценарием с сохранением отчётов (bench/reconcile_faults.py → evidence/reconcile/). --grace 30 --allow-small-grace, чтобы «старое» и «свежее» различались за секунды.
Результаты, сценарий A (все виды ошибок; faults-summary.json):
| Внедрено | dry-run | --apply |
повторный --apply |
состояние после |
|---|---|---|---|---|
| старый объект без строки | orphan_object, planned |
удалён | — | объекта нет |
pending старше grace с объектом / без |
stale_intent ×2 |
удалены (объект, затем строка) | — | нет ни строк, ни объекта |
объект удалён под используемым ready (C) |
missing_object, used |
карантин missing_object |
— | строка и ссылка из сообщения целы; content 404; прикрепить — 409 |
объект обрезан под неиспользуемым ready (D) |
size_mismatch |
карантин | — | content 404 |
тот же размер, другие байты (F, только --verify-checksums) |
checksum_mismatch |
карантин | — | content 404 |
| ложный карантин у здорового объекта (E) | restored_object |
карантин снят | — | content 200 |
свежий объект без строки, свежий pending (загрузка в процессе) |
fresh_*, not_actionable |
не тронуты | удалены, когда стали старше grace | — |
| здоровые A (используется), B | нет находок | не тронуты | — | content 200 |
| объект C возвращён «из бэкапа» | — | — | restored_object → карантин снят |
content 200, те же байты |
- Dry-run: отпечаток всех строк
attachmentsи список ключей bucket до и после совпали (dry_run_changed_nothing: true). - Повторный
--apply: 0 действий по исправленным ключам.
Сценарий B — прерванный --apply. 2000 старых сирот; S3 ставится на паузу во время удаления:
- прерванный проход: exit 1,
store_unavailable, успел удалить 440; - после unpause осталось 1560;
- повторный запуск: exit 0, удалено 1562 (1560 этих + 2 сироты, оставшиеся от тестов);
- третий запуск: 0 запланированных действий;
- interrupted-*.json.
Ни одна ready-строка за весь эксперимент не удалена.
Тесты безопасности:
test_safety_valve_refuses_mass_deletion: при--max-orphan-fractionниже доли сирот выход 3, ничего не удалено;test_store_outage_stops_the_run_without_damage[s3/postgres]: выход 1 с JSON-отчётом;test_live_uploads_are_never_hurt_by_concurrent_apply: 40 загрузок + сообщений идут параллельно с повторяющимся--apply --grace 8. Все 40 вложенийready, без карантина, байты на месте.
Стоимость обхода (cost.json) — синтетические согласованные вложения по 1 КиБ, dry-run, медиана 3 запусков, reconciler 1 CPU / 256 МБ:
| Синтетических вложений (всего объектов в bucket) | Режим | Длительность, медиана из 3 | Запросы листинга S3 | Страницы БД | Прочитано байтов |
|---|---|---|---|---|---|
| 1 000 (1 285) | dry-run, страница 1000 | 0,30 с | 2 | 2 | 0 |
| 10 000 (10 285) | dry-run, страница 1000 | 1,67 с | 11 | 11 | 0 |
| 10 000 (10 285) | dry-run, страница 100 | 2,28 с (+37 %) | 103 | 103 | 0 |
| 10 000 (10 285) | dry-run, --verify-checksums |
48,4 с | 11 | 11 | 694 МБ (≈ 14 МБ/с) |
| 50 000 (50 285) | dry-run, страница 1000 | 8,4 с | 51 | 51 | 0 |
Время растёт линейно: ≈ 0,17 мс на объект, ≈ 6 000 объектов/с при 1 CPU. Число запросов ровно ⌈N/страница⌉ с каждой стороны. Страница 100 даёт в 10 раз больше запросов и +37 % времени, поэтому по умолчанию страница 1000 — максимум ListObjectsV2. Проверка сумм стоит O(объёма): 694 МБ — это в основном 10-мегабайтные файлы предыдущих тестов на стенде, а не 1-килобайтная синтетика. Поэтому --verify-checksums — режим для редкого (например, ночного) прогона, а сверка по листингу — для частого. Память reconciler от N не зависит (лимит 256 МБ, страница хранится одна).
Ограничения трека:
- Время берётся из часов БД (строки) и хоста (LastModified объектов). Поэтому grace должен быть много больше расхождения часов; при одном хосте это выполняется.
- Без
--verify-checksumsпорча с тем же размером не видна; проверка сумм читает все байты и стоит O(общего объёма). - Reconciler не знает, «правильный» ли объект вернули из бэкапа: он проверяет размер и SHA-256 по метаданным, а значит, восстановить можно только тот же оригинал.
- Карантин — решение для оператора, не автоматическое восстановление: байты потеряны.
- Листинг S3 и чтение БД — не единый снимок. Гонки закрывают grace и перепроверка под
FOR UPDATE, а не изоляция.
Ограничения и следующие шаги
- Один Docker-хост, один экземпляр SeaweedFS без репликации (
000): отказ диска хоста теряет и БД, и bucket. Бэкапs3dataиpgdataдолжен быть согласованным по времени; reconciler найдёт расхождение после восстановления, но байты не вернёт. - SeaweedFS 4.46: S3 gRPC-порт 18333 слушает сеть
storageвместе с 8333 (отдельного bind для него нет); сеть internal, в ней только api, s3-init и reconciler. KEK для SSE-S3 не задан: шифрования «на диске» нет (в lab4 не требуется, вопрос lab7). - HTTP внутри стенда: Basic и ключи S3 идут без TLS — допустимо для локального стенда с синтетикой, TLS/mTLS — lab7.
- Тело загрузки в памяти (ограниченно): потоковой передачи в S3 через multipart нет. Причина — полная проверка изображения до записи требует весь файл. Граница — слоты; lab5 перенесёт обработку в staging + worker.
- Повторная загрузка того же файла создаёт новое вложение (контракт это разрешает); дедупликации по SHA-256 нет.
- Проверка JPEG принимает файлы, которые libjpeg декодирует без единого предупреждения. Редкие реальные файлы с «extraneous bytes» от кривых кодеков получат 415 — сознательная строгость.
- Janitor работает в репликах API (одна за раз, advisory-замок); при большой доле мусора его стоило бы вынести в отдельный сервис, как reconciler.
- Замеры — один хост и по одному прогону на сценарий памяти; выводы сделаны по крупным, повторяющимся различиям, а не по процентам.