Files
mtusi2026lab4/REPORT.md
T
Alexey BodanyukandClaude Opus 5.5 85ca984ab8 lab4: доказательства из чистого clone, REPORT, текст PR
Прогон scripts/collect_evidence.py на свежем clone (f9f5ab9) + повтор своих тестов,
публичных проверок и замера стоимости после найденных им исправлений.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-25 15:55:03 +03:00

45 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Боданюк Алексей, БВТ2302
  • Целевая оценка: 5, трек 2 «Согласованность двух хранилищ»
  • Ветка: solution/bvt2302-bodanyuk. Форк: https://gitea.privcloud.tech/wfa/mtusi2026lab4. PR: «ЛР 4 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab4
  • Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0, argon2-cffi 25.1.0, aiobotocore 3.9.2 (S3), libjpeg-turbo 2.1.5 djpeg (проверка JPEG); PostgreSQL 18.6, Valkey 8.1.3, HAProxy 3.2.26, SeaweedFS 4.46. Все образы закреплены по тегу и digest, все Python-пакеты — по sha256 (requirements.txt), Debian-пакет — по версии (Dockerfile)
  • Источники: README, COURSE, контракт (openapi.json, семантика), документация S3 (PutObject/Content-MD5, ListObjectsV2), SeaweedFS (weed server, s3.json identities), PNG (RFC 2083 / W3C PNG 3rd ed.: chunks, CRC, zlib, фильтры, Adam7), libjpeg-turbo (djpeg -strict, -scale, -maxmemory), HAProxy 3.2 (nbsrv, use_backend, http-request set-timeout), cgroup v2 (memory.peak, memory.events). Учтены все замечания преподавателя к PR lab4 других студентов (раздел ниже)
  • Помощь ИИ: код, тесты, скрипты экспериментов и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже; вывод — в evidence/. Ответы на вопросы защиты — docs/DEFENSE.md, согласованность хранилищ — docs/CONSISTENCY.md, запуск на Windows и сценарий защиты — docs/WINDOWS.md

Запуск из чистого clone

Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1), Python 3.9+ и GNU make (на Windows — см. WINDOWS.md). Учётные данные в Git не хранятся, их создаёт скрипт.

git clone https://gitea.privcloud.tech/wfa/mtusi2026lab4 mtusi2026lab4 && cd mtusi2026lab4 && git checkout solution/bvt2302-bodanyuk
python3 scripts/init_secrets.py        # пароли PostgreSQL/Valkey и ТРИ пары ключей S3 -> ./secrets (git-ignored), идемпотентно
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
#   postgres, valkey, s3 healthy -> migrate (0001..0004) и s3-init (bucket + проверка прав) exit 0 -> api x2 healthy -> lb
docker compose logs s3-init            # anonymous GET/LIST -> 403, права ключей api/reconciler -> OK
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore
make reconcile                          # трек 2: dry-run, read-only отчёт JSON
  • Windows: публичным тестам нужен PYTHONUTF8=1; хуки — через scripts/restart.cmd и scripts/stop-one.cmd (тот же .sh в Git Bash).
  • Свои тесты: python3 -m venv .venv, pip install --require-hashes --no-deps -r requirements.txt, pip install -r requirements-test.txt, затем make student-test (~25 мин, стенд должен быть поднят). Без стенда — make unit-test.
  • Все доказательства одной командой (на чистом clone, ~70 мин): python scripts/collect_evidence.py.
  • Bootstrap S3 — одноразовый сервис s3-init (python -m messenger.s3_bootstrap), идемпотентный: существующий bucket не трогает, sentinel-объект перезаписывает, затем проверяет модель доступа и валит стенд (exit 1), если bucket не приватный или у ключей лишние права. Повтор: docker compose run --rm s3-init.
  • Остановка: безопасно — docker compose down (volumes pgdata, valkeydata, s3data сохраняются). Намеренное удаление учебных данных — docker compose down -v и rm -rf secrets.

Архитектура и решения

клиент ──127.0.0.1:8080──> lb: HAProxy 3.2 ──edge──> api × 2 (Starlette, без состояния и без volume)
                             │ backend api:      /health/ready       (PG + Valkey + S3)              │
                             │ backend api_core: /health/ready/core  (PG + Valkey) — только если      ├─data (internal)──> postgres 18.6: users, chats, messages, attachments (метаданные)
                             │                   в api нет ни одного UP (S3 упал у всех)             │                    valkey 8.1.3: сессии
                             └ upload: timeout server 60 s                                           └─storage (internal)─> s3: SeaweedFS 4.46, bucket messenger-attachments (байты)
migrate ──data──> 0001…0004          s3-init ──storage──> bucket, sentinel, проверка прав          reconciler (по требованию) ──data+storage──> сверка
Роль Service Образ Health / readiness Volume Сеть / порт Credentials CPU / RAM
Точка входа lb haproxy:3.2.26-alpine@sha256:254e6370… haproxy -c + stats; бэкенды — активные проверки — edge; 127.0.0.1:8080, [::1]:8080, 127.0.0.1:8404 нет 1.0 / 128m
API × 2 api mtusi-messenger:lab4 из исходников /health/ready (PG, Valkey, S3) — edge + data + storage, только expose 8080 database_url, cache_url, своя пара S3 (Read+Write bucket) 1.0 / 512m, без swap
Миграции migrate тот же образ exit 0 — data database_url 0.5 / 256m
Bootstrap S3 s3-init тот же образ exit 0 — storage admin + api + reconciler (для проверки прав) 0.5 / 256m
БД postgres postgres:18.6-bookworm@sha256:afc7e2d4… pg_isready pgdata data postgres_password 2.0 / 1g
Сессии valkey valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6… valkey-cli ping valkeydata data valkey_password 0.5 / 256m
Объекты s3 chrislusf/seaweedfs:4.46@sha256:08d51613… GET /healthz s3data storage, 8333 (S3 API) — не опубликован identities из secrets (start.sh) 1.0 / 1g
Сверка (трек 2) reconciler (профиль tools) тот же образ — — data + storage database_url, пара S3 reconciler (+List) 1.0 / 256m

Что перенесено из lab3 (отдельный коммит d916d09, без изменений): API, миграции 0001–0003, HAProxy без sticky с re-resolve DNS, общая идемпотентность, graceful shutdown, сессии в Valkey, все тесты lab3. Что сделано в lab4:

  • Выбор S3: SeaweedFS 4.46. Репозитория minio/minio в Docker Hub больше нет (проверено при выборе), SeaweedFS активно развивается и поддерживает identity с правами на bucket. Один контейнер (weed server: master + volume + filer + S3 gateway). Web-интерфейсы master/filer/volume и их gRPC слушают только 127.0.0.1 внутри контейнера (-ip.bind), в сеть storage выходит лишь S3 API (8333/18333). Сеть internal, на хосте ничего не опубликовано. Телеметрия выключена, встроенный IAM API выключен, автосоздание bucket выключено.
  • Права. Три пары ключей (init_secrets.py): admin (создание bucket) — только у s3 и s3-init; messenger-api — Read+Write на один bucket, без List и Admin; messenger-reconciler — плюс List. Анонимной identity нет, поэтому bucket приватный. s3-init проверяет всё это при каждом запуске, включая канареечный bucket: API не видит его в ListBuckets и не может читать из него (403).
  • Модель данных (0004_attachments.sql, DATA_MODEL.md): attachments (метаданные; object_key = o/<128 случайных бит> назначает сервер; status pending|ready; карантин lost_at/lost_reason), message_attachments (FK + обратный поиск), messages.attachment_ids uuid[] (порядок, чтение истории остаётся одним index range scan). Отправка сообщения — SQL-функция post_message_v2, тоже одна транзакция.
  • Загрузка (attachments.py, images.py): auth → членство (404) → filename / Content-Type / Content-Length (400/415/413) → слот загрузки → тело кусками с дедлайном → формат и пиксели по первым байтам → полная проверка → pending → PUT → ready → 201. Подробно о порядке и сбоях — CONSISTENCY.md.
  • Проверка содержимого. PNG — свой потоковый валидатор: сигнатура, CRC каждого chunk, порядок chunk'ов, zlib-поток IDAT распаковывается порциями по 1 MiB и сразу выбрасывается, его длина должна быть ровно height × (1 + байт в строке) (Adam7 — по проходам), байт фильтра каждой строки ≤ 4, IEND в конце и ничего после него. Растр в памяти не создаётся. JPEG — djpeg -strict -scale 1/8 -maxmemory: эталонный декодер в отдельном процессе декодирует весь файл, любое предупреждение libjpeg — ошибка. Pillow для этого не годится: JPEG без данных после SOS он «успешно» декодирует в серую картинку (проверено). MIME определяется по байтам; несовпадение с Content-Type — 415.
  • Лимиты до чтения/декодирования. Content-Length > 10 MiB → 413 без чтения тела; без длины (chunked) — 413 при пересечении лимита. Пиксели — из IHDR/SOFn по первым байтам: 20000×10000 → 413 через 33 байта, ничего не декодируется. Тело — один буфер ровно Content-Length байт (без копий до S3 и djpeg). Одновременно на реплику: UPLOAD_CONCURRENCY=4 тела (остальные ждут ≤ 5 с с байтами в TCP-буфере, затем 503 + Retry-After), IMAGE_VERIFY_CONCURRENCY=1 полная проверка. Дедлайны: тело 30 с, проверка 10 с, S3 3 с (+ время на объём), в HAProxy для загрузки timeout server 60s.
  • Скачивание — только через API, без redirect: членство → GET объекта → стриминг кусками по 64 KiB (память не зависит от размера). Заголовки: настоящий Content-Type, Content-Length, Content-Disposition: attachment (ASCII-fallback + RFC 5987), X-Content-Type-Options: nosniff, Cache-Control: private, no-store, ETag = SHA-256.
  • Готовность и деградированный режим. /health/ready включает S3 (загрузка и скачивание — обязательный синхронный путь): S3 недоступен → 503. S3 — общая зависимость, и если он упал у всех, HAProxy переключается на backend api_core (проверка /health/ready/core: PG + Valkey). Чаты и текст работают, запросы к вложениям API сам отвечает 503 за ≤ 3 с. Если S3 потеряла одна реплика, она DOWN в api, трафик идёт на другую.
  • Janitor (в каждой реплике, раз в ~60 с, advisory-замок): pending старше PENDING_GRACE_SECONDS=900 → под FOR UPDATE SKIP LOCKED удалить объект, затем строку.
  • Reconciler (трек 2) — reconcile.py, раздел «Трек 2» ниже.
  • FAULT_POINTS (after_s3_put, after_ready_commit) — внедрение отказа ровно между шагами записи, только для экспериментов. По умолчанию пусто; неизвестное значение — ошибка конфигурации.

Readiness-критичные зависимости: PostgreSQL, Valkey и S3. LB в деградированном режиме обходится без S3.

Соответствие .env.example реальной конфигурации (config.py, compose.yaml):

Переменная Значение Где используется
APP_HOST, APP_PORT, APP_ENV, SESSION_TTL_SECONDS, DATABASE_URL_FILE, SESSION_STORE, CACHE_URL_FILE, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS как в lab3 без изменений
S3_ENDPOINT, S3_REGION, S3_BUCKET http://s3:8333, us-east-1, messenger-attachments клиент S3 API, s3-init, reconciler; bucket создаёт s3-init
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE /run/secrets/s3_access_key_id, …/s3_secret_access_key у API это его пара (secrets s3_api_* смонтированы под этими именами), у reconciler — его пара
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS 10485760, 40000000 лимиты контракта; можно уменьшить, увеличить нельзя (ConfigError)
UPLOAD_CONCURRENCY, UPLOAD_QUEUE_TIMEOUT_SECONDS, UPLOAD_READ_TIMEOUT_SECONDS 4, 5, 30 слоты загрузки на реплику, ожидание слота, дедлайн тела
IMAGE_VERIFY_CONCURRENCY, IMAGE_VERIFY_TIMEOUT_SECONDS, JPEG_MAX_MEMORY_MB 1, 10, 256 одновременные полные проверки, дедлайн проверки, djpeg -maxmemory
S3_TIMEOUT_SECONDS 3 дедлайн каждого вызова S3 (PUT — плюс время на объём)
PENDING_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS 900, 60 janitor незавершённых загрузок
FAULT_POINTS пусто внедрение отказов в экспериментах
API_CPUS/MEMORY, S3_CPUS/MEMORY, PG_*, VALKEY_CPUS, LB_CPUS 1.0/512m, 1.0/1g, 2.0/1g, 0.5, 1.0 лимиты контейнеров

Доказательства критериев

Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 30 ГБ RAM, Docker Desktop 29.8.0 (WSL2), Python 3.14 на хосте, GNU make 4.4.1. Проверки выполнены 2026-10-25 на стенде из чистого clone (новая папка, git clone, пустые volumes, secrets созданы заново) одной командой python scripts/collect_evidence.py, коммит f9f5ab9. Этот прогон нашёл два дефекта (см. ниже). После исправления (коммиты 046e257, fc50362, 6fb70de) на том же стенде целиком повторены свои тесты, публичные make test / test-persistence / test-failover ×2 и замер стоимости обхода — final-commit-public-checks.txt.

Критерий README Команда / сценарий Наблюдаемый результат Файл
Чистый clone, secrets, миграции, bucket с нуля init_secrets.py, compose config --quiet, compose up -d --build --wait, логи migrate и s3-init 7 сервисов healthy / exit 0; 0001…0004: applied; bucket messenger-attachments: created; образы по digest clean-clone.txt
Контракт make check, make validate PASS, PASS make-check-validate-test.txt
3: публичный smoke (checksum, посторонний) make test PASS: lab4 public API scenario (и на финальном коммите) там же, final-commit-public-checks.txt
3: S3 в стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API test_metadata_reveals_no_storage_details, test_original_is_not_stored_on_api_containers, политика compose строка ready + объект o/<hex> того же размера в bucket; в ФС реплик нет файла такого размера; у api нет volume student-tests.txt
3: 201 ready, оригинал побайтно, сообщение с attachment_ids читают участники test_png_and_jpeg_roundtrip_byte_for_byte, test_message_with_attachments_and_history, scripts/demo_attachments.py PNG и JPEG: SHA-256 и размер совпадают; text="" + файл → 201; история возвращает attachment_ids по порядку там же
3: реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения и декодирования test_size_limit_through_the_load_balancer, test_exactly_40_megapixels_is_accepted, test_pixel_limit_before_decoding, test_bad_content_is_415 (16 случаев), test_bad_filename_is_400 (14) ровно 10 485 760 байт через LB → 201, +1 байт → 413 за < 5 с, chunked сверх лимита → 413; 8000×5000 → 201; 20000×10000 / 8001×5000 / JPEG 400 Мпикс → 413 за < 2 с там же
3: upload → остановка обслужившей реплики → download через другую test_upload_survives_failover_of_the_serving_replica, make test-failover ×2 после SIGKILL обслужившей 5 скачиваний с другой реплики — те же байты; публичный тест для api-1 и api-2: 131 / 132 записи, 0 неудачных, оригинал на месте test-failover.txt
3: restart с volumes сохраняет метаданные и оригинал make test-persistence ACTION_SCRIPT=scripts/restart.cmd PASS; новые PID и StartedAt у lb, api-*, postgres, valkey, s3; прежний токен, файл скачивается test-persistence.txt
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; ошибки пользователя не дают 500 test_attachments.py (56 тестов) 413 / 415 / 400 / 404 по контракту; Api.call проверяет у каждого ответа формат ошибки, X-Request-Id, X-Instance-Id, отсутствие stack trace student-tests.txt
4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; grace period test_consistency.py (4), CONSISTENCY.md обрыв и зависание тела — ничего не записано; after_s3_put → pending + объект, janitor убирает оба (grace 3 с в тесте, 900 с в стенде); after_ready_commit → ничего не удалено, файл скачивается; свежий pending не тронут там же
4: RAM одной загрузки ограничена; ≥ 10 одновременных загрузок с пиком памяти bench/upload_memory.py (16 и 32 клиента) см. «Эксперименты»: пик +81…113 МБ и при 16, и при 32 клиентах (4 слота), лимит 512 МБ, 0 OOM процесса API memory/summary.json
4: bootstrap идемпотентен, отдельные ограниченные ключи S3, консоль закрыта, проверка приватности вне API логи s3-init (при каждом up), test_bucket_is_private_outside_the_api, test_compose_policy_… anonymous GET/LIST → 403; ключ API: Read/Write да, List/CreateBucket/чужой bucket — нет; ключ reconciler: List да; повторный bootstrap — exists, kept as is; порты 9333/8888/8080 SeaweedFS недоступны из сети clean-clone.txt, student-tests.txt
4: отказ S3 test_s3_outage_is_503_and_text_keeps_working[stop/pause] readiness 503 на всех репликах (core 200), upload/download 503 за < 8 с, метаданные 200, текст работает (деградированный режим LB); после восстановления файл цел там же
5: трек 2 test_reconcile.py (6), bench/reconcile_faults.py, bench/reconcile_cost.py см. раздел «Трек 2» evidence/reconcile/
Перенесённое из lab3 все тесты lab3 (балансировка, идемпотентность, отказы БД/Valkey, explain) проходят без ослабления; адаптированы только списки сервисов и миграций student-tests.txt
Публичный генератор нагрузки tests/load.py --duration 30 --concurrency 4 5416 успешных, 0 ошибок, 180 req/s, p50/p95/p99 = 18 / 49 / 64 мс load.json
Свои тесты python -m pytest student-tests -v 316 passed, 4 skipped (113 unit + 203 против стенда, 21 мин); skipped — 4 unit-теста djpeg на хосте без libjpeg-turbo, те же случаи проходят на стенде student-tests.txt

Что нашёл прогон из чистого clone (f9f5ab9). 314 из 316 тестов прошли, два упали:

  1. test_s3_outage_is_503_and_text_keeps_working[stop]. После stop/start S3 первое скачивание получало 503: в пуле aiobotocore оставались keep-alive соединения к старому процессу, а повторов не было. Исправлено одной повторной попыткой в том же дедлайне — все операции идемпотентны по ключу (storage.py, 046e257).
  2. test_restart_does_not_extend_ttl. Рестарт Valkey и обеих реплик (readiness теперь ждёт и S3) длился дольше 12-секундного TTL теста. TTL теста увеличен до 30 с.

Ещё дефекты нашли замеры памяти до этого прогона:

  • семафор загрузок отпускался сразу после чтения тела, а буфер жил до конца S3 PUT. При 32 клиентах пик рос до +214 МБ при 4 слотах. Теперь слот держится до конца загрузки (277d06f);
  • djpeg, убитый OOM-killer'ом, давал 415 вместо 503 — исправлено;
  • PNG-валидатор копировал остаток IDAT на каждом шаге (unconsumed_tail) — исправлено.

И одну ошибку reconciler нашёл замер стоимости на том же стенде: --apply без --verify-checksums видел совпадающий размер и снимал карантин checksum_mismatch как restored_object, хотя сумму в этом режиме проверить не может. Теперь такой карантин снимает только проход с проверкой сумм (6fb70de). Тест дополнен, 6/6 тестов reconciler и smoke повторены на этом коммите — reconcile-fix-rerun.txt. Первый прогон своих тестов с двумя падениями сохранён как есть: student-tests-first-run-f9f5ab9.txt.

Проверки, на которых ловили другие работы

Замечания преподавателя к PR lab4 (#1–#13) других студентов, проверенные на своём стенде:

Замечание к чужим PR У нас Где проверено
PNG с корректным IHDR и мусорным IDAT (86 байт), обрезанный PNG, первые 33 байта fixture, повреждение после первых 64 KiB → 201 415: CRC каждого chunk, zlib до точного размера, IEND обязателен test_bad_content_is_415[png:*], unit test_broken_png_is_415
JPEG без данных после SOS → 201 415: djpeg -strict (Pillow такой файл принимает — проверено) test_bad_content_is_415[jpeg: no scan data after SOS]
PNG 6–10 MiB → 413 HTML от nginx HAProxy не ограничивает тело; ровно 10 485 760 байт → 201 через LB test_size_limit_through_the_load_balancer
20000×10000 → 500 (DecompressionBombError) 413 по IHDR, ничего не декодируется; 40 000 000 px принимается, 40 005 000 → 413 test_pixel_limit_before_decoding, test_exactly_40_megapixels_is_accepted
img.load() до проверки размера (пик 252 МБ на файле 131 КБ) размер берётся из заголовка до чтения остального тела; растр PNG не создаётся вовсе unit test_png_verification_is_streaming_and_fast (40 Мпикс < 5 с)
API получает admin-ключи MinIO и создаёт bucket у API своя пара: CreateBucket → AccessDenied (проверяет s3-init) clean-clone.txt, test_compose_policy_…
S3 остановлен: readiness 200 / 500 за 9 с, upload 500 / 504 readiness 503, upload 503 за < 8 с (S3 3 с), без 500 test_s3_outage_…[stop/pause]
filename с C1 (U+0085) или из пробелов %20%20%20 → 201 400; также /, \, NUL, TAB, U+2028, bidi U+202E, ., .., невалидный UTF-8, повтор параметра test_bad_filename_is_400 (14)
{"attachment_ids":[A]}, {"text":null,…}, {"text":"x","attachment_ids":null} → 201 400 test_message_body_validation (12)
COMMIT прошёл, ответ потерян → API удаляет объект, остаётся ready без байтов в обработчике компенсации нет; janitor трогает только pending test_lost_answer_after_commit_never_deletes_the_object
dry-run продолжает частичное удаление dry-run read-only на уровне БД (default_transaction_read_only) и S3-обёртки; промежуточного состояния «deleting» нет test_detect_and_safely_fix_faults_on_both_sides (отпечатки до/после)
тело накапливается целиком, рост RAM «не доказывает потоковость» буфер ровно Content-Length, число буферов ограничено слотами; замер 16 и 32 клиентов memory/summary.json
тест шлёт POST в чужой чат без Idempotency-Key; гонка считает 5xx конфликтом все POST сообщений в своих тестах — с ключом; Api.call требует точный ожидаемый код conftest.py

Эксперименты и отказы

Уровень 4: память при ≥ 10 одновременных загрузках

Гипотеза: память реплики ограничена UPLOAD_CONCURRENCY × MAX_UPLOAD_BYTES плюс одна полная проверка (IMAGE_VERIFY_CONCURRENCY) и не зависит от числа клиентов.

Методика (bench/upload_memory.py):

  • перед каждым сценарием реплики api пересоздаются: cgroup memory.peak начинается с простоя;
  • N клиентов стартуют одновременно (barrier) через LB, у каждого свой файл;
  • memory.current каждой реплики снимается каждые 50 мс внутри контейнера; затем читаются memory.peak (все процессы контейнера, включая djpeg), VmHWM процесса Python и memory.events (OOM-kill) всех контейнеров.

Лимит api: 1 CPU, 512 МБ, swap выключен (memswap_limit). Файлы: PNG 9,42 МБ из шума (не сжимается), JPEG 8000×5000 progressive 4:4:4 (0,6 МБ, самый дорогой для декодера: ~240 МБ буферов коэффициентов). Один прогон на сценарий, коммит f9f5ab9, сырые данные — summary.json.

Сценарий Ответы Пик реплик − простой (≈ 75 МБ) Python VmHWM OOM-kill
PNG ×16, 4 слота (по умолчанию) 16 × 201, p50 3,6 с +81 / +89 МБ 153 МБ 0
PNG ×32, 4 слота 25 × 201, 7 × 503 «слишком много загрузок» (+Retry-After) +80 / +113 МБ — как при 16 144 / 181 МБ 0
PNG ×32, 16 слотов 24 × 201, 8 × 503 «хранилище недоступно» +209 / +193 МБ 286 / 267 МБ 0
JPEG 40 Мпикс ×16, verify=1 (по умолчанию) 16 × 201 +242 / +242 МБ (djpeg) 108 МБ 0
JPEG 40 Мпикс ×16, verify=4 2 × 201, 14 × 503 «не хватило ресурсов» 512 / 512 МБ (лимит) 111 / 92 МБ 6 / 7 (djpeg)

Выводы:

  • Удвоение числа клиентов при тех же 4 слотах пик не меняет; лишние клиенты быстро получают 503 с Retry-After, а их байты ждут в TCP-буферах, а не в процессе.
  • Повышение границы до 16 слотов поднимает пик в 2–2,5 раза и упирается уже в S3: SeaweedFS ограничивает одновременные загрузки, PUT не укладывается в дедлайн, клиент получает 503. Значит, 4 слота — разумная граница при 1 CPU.
  • Полная проверка JPEG — самая дорогая часть. При одной проверке за раз пик +242 МБ укладывается в 512 МБ. При четырёх cgroup убивает djpeg; API это переживает, отвечает 503 (а не 415 — исправлено после первого замера) и не теряет ни процесс, ни другие запросы.
  • S3 (SeaweedFS, лимит 1 ГБ, GOMEMLIMIT=600MiB): anon-память 386–412 МБ; memory.current до 1 ГБ — это page cache записанных томов.

Ограничения. Один хост и один прогон на сценарий (разброс между прогонами в моих повторах — до ±25 МБ). Клиенты на том же хосте. Python не возвращает освобождённую память ОС мгновенно, поэтому VmHWM — верхняя оценка.

Отказы

Воздействие Что ожидаем Что наблюдали Восстановление / потеря данных
docker compose stop s3 readiness 503, вложения 503, текст работает так и есть, загрузка 503 за < 8 с; HAProxy на api_core сразу после старта S3 (с повтором соединения); потерь нет
docker compose pause s3 то же, ответ по дедлайну, а не зависание 503 за ≤ 3 с + запас; readiness 503 после unpause; потерь нет
сбой между PUT и COMMIT (FAULT_POINTS=after_s3_put) 503, pending + объект, уборка после grace так и есть, janitor убрал за ≤ 30 с при grace 3 с мусор убран, ready-данные не затронуты
потерян ответ после COMMIT (after_ready_commit) 503, но файл цел ready, объект на месте, скачивается ничего не удалено
клиент оборвал тело / застрял на середине ничего не записано / 400 по дедлайну 0 строк, 0 объектов; 400 с X-Instance-Id —
SIGKILL реплики, обслужившей загрузку другая реплика отдаёт файл 5/5 скачиваний, те же байты —
stop одной реплики (публичный тест) ×2 ≤ 10 с, без потерь и дублей 0 неудачных записей, ~6 с до первой записи после хука (время самого docker stop с drain) —
restart всего стенда с volumes данные, сессия и оригинал на месте PASS, все 6 долгоживущих контейнеров с новым PID —

Трек 2: согласованность двух хранилищ

Гипотеза. Один повторяемый проход, который merge-join'ит упорядоченный листинг S3 и keyset-страницы attachments по object_key, находит все расхождения обеих сторон. Он безопасно исправляет их (dry-run ничего не меняет; свежие и используемые вложения не удаляются; повторный запуск идемпотентен), а стоит O(N) по запросам и O(1) по памяти. Устройство и правила — CONSISTENCY.md, код — reconcile.py.

Методика. Ошибки внедряются напрямую в хранилища: в S3 — изнутри сети storage ключами API/reconciler, в PostgreSQL — через psql. Затем запускается reconciler, сохраняется каждый JSON-отчёт. Повторяется тестом (test_reconcile.py, 6 тестов) и сценарием с сохранением отчётов (bench/reconcile_faults.py → evidence/reconcile/). --grace 30 --allow-small-grace, чтобы «старое» и «свежее» различались за секунды.

Результаты, сценарий A (все виды ошибок; faults-summary.json):

Внедрено dry-run --apply повторный --apply состояние после
старый объект без строки orphan_object, planned удалён — объекта нет
pending старше grace с объектом / без stale_intent ×2 удалены (объект, затем строка) — нет ни строк, ни объекта
объект удалён под используемым ready (C) missing_object, used карантин missing_object — строка и ссылка из сообщения целы; content 404; прикрепить — 409
объект обрезан под неиспользуемым ready (D) size_mismatch карантин — content 404
тот же размер, другие байты (F, только --verify-checksums) checksum_mismatch карантин — content 404
ложный карантин у здорового объекта (E) restored_object карантин снят — content 200
свежий объект без строки, свежий pending (загрузка в процессе) fresh_*, not_actionable не тронуты удалены, когда стали старше grace —
здоровые A (используется), B нет находок не тронуты — content 200
объект C возвращён «из бэкапа» — — restored_object → карантин снят content 200, те же байты
  • Dry-run: отпечаток всех строк attachments и список ключей bucket до и после совпали (dry_run_changed_nothing: true).
  • Повторный --apply: 0 действий по исправленным ключам.

Сценарий B — прерванный --apply. 2000 старых сирот; S3 ставится на паузу во время удаления:

  • прерванный проход: exit 1, store_unavailable, успел удалить 440;
  • после unpause осталось 1560;
  • повторный запуск: exit 0, удалено 1562 (1560 этих + 2 сироты, оставшиеся от тестов);
  • третий запуск: 0 запланированных действий;
  • interrupted-*.json.

Ни одна ready-строка за весь эксперимент не удалена.

Тесты безопасности:

  • test_safety_valve_refuses_mass_deletion: при --max-orphan-fraction ниже доли сирот выход 3, ничего не удалено;
  • test_store_outage_stops_the_run_without_damage[s3/postgres]: выход 1 с JSON-отчётом;
  • test_live_uploads_are_never_hurt_by_concurrent_apply: 40 загрузок + сообщений идут параллельно с повторяющимся --apply --grace 8. Все 40 вложений ready, без карантина, байты на месте.

Стоимость обхода (cost.json) — синтетические согласованные вложения по 1 КиБ, dry-run, медиана 3 запусков, reconciler 1 CPU / 256 МБ:

Синтетических вложений (всего объектов в bucket) Режим Длительность, медиана из 3 Запросы листинга S3 Страницы БД Прочитано байтов
1 000 (1 285) dry-run, страница 1000 0,30 с 2 2 0
10 000 (10 285) dry-run, страница 1000 1,67 с 11 11 0
10 000 (10 285) dry-run, страница 100 2,28 с (+37 %) 103 103 0
10 000 (10 285) dry-run, --verify-checksums 48,4 с 11 11 694 МБ (≈ 14 МБ/с)
50 000 (50 285) dry-run, страница 1000 8,4 с 51 51 0

Время растёт линейно: ≈ 0,17 мс на объект, ≈ 6 000 объектов/с при 1 CPU. Число запросов ровно ⌈N/страница⌉ с каждой стороны. Страница 100 даёт в 10 раз больше запросов и +37 % времени, поэтому по умолчанию страница 1000 — максимум ListObjectsV2. Проверка сумм стоит O(объёма): 694 МБ — это в основном 10-мегабайтные файлы предыдущих тестов на стенде, а не 1-килобайтная синтетика. Поэтому --verify-checksums — режим для редкого (например, ночного) прогона, а сверка по листингу — для частого. Память reconciler от N не зависит (лимит 256 МБ, страница хранится одна).

Ограничения трека:

  • Время берётся из часов БД (строки) и хоста (LastModified объектов). Поэтому grace должен быть много больше расхождения часов; при одном хосте это выполняется.
  • Без --verify-checksums порча с тем же размером не видна; проверка сумм читает все байты и стоит O(общего объёма).
  • Reconciler не знает, «правильный» ли объект вернули из бэкапа: он проверяет размер и SHA-256 по метаданным, а значит, восстановить можно только тот же оригинал.
  • Карантин — решение для оператора, не автоматическое восстановление: байты потеряны.
  • Листинг S3 и чтение БД — не единый снимок. Гонки закрывают grace и перепроверка под FOR UPDATE, а не изоляция.

Ограничения и следующие шаги

  • Один Docker-хост, один экземпляр SeaweedFS без репликации (000): отказ диска хоста теряет и БД, и bucket. Бэкап s3data и pgdata должен быть согласованным по времени; reconciler найдёт расхождение после восстановления, но байты не вернёт.
  • SeaweedFS 4.46: S3 gRPC-порт 18333 слушает сеть storage вместе с 8333 (отдельного bind для него нет); сеть internal, в ней только api, s3-init и reconciler. KEK для SSE-S3 не задан: шифрования «на диске» нет (в lab4 не требуется, вопрос lab7).
  • HTTP внутри стенда: Basic и ключи S3 идут без TLS — допустимо для локального стенда с синтетикой, TLS/mTLS — lab7.
  • Тело загрузки в памяти (ограниченно): потоковой передачи в S3 через multipart нет. Причина — полная проверка изображения до записи требует весь файл. Граница — слоты; lab5 перенесёт обработку в staging + worker.
  • Повторная загрузка того же файла создаёт новое вложение (контракт это разрешает); дедупликации по SHA-256 нет.
  • Проверка JPEG принимает файлы, которые libjpeg декодирует без единого предупреждения. Редкие реальные файлы с «extraneous bytes» от кривых кодеков получат 415 — сознательная строгость.
  • Janitor работает в репликах API (одна за раз, advisory-замок); при большой доле мусора его стоило бы вынести в отдельный сервис, как reconciler.
  • Замеры — один хост и по одному прогону на сценарий памяти; выводы сделаны по крупным, повторяющимся различиям, а не по процентам.