Files
mtusi2026lab4/REPORT.md
T

38 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Лазарев Юрий Сергеевич, БПИ2303
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен
  • Commit/PR: PR #91 — ЛР 4 — БПИ2303 — Лазарев — на 4; реализация c5a07dc, ветка solution/bpi2303-lazarev, fork zemiles/mtusi2026lab4.
  • Использованные источники, библиотеки и помощь ИИ: Python 3.12 (стандартная библиотека: http.server, hashlib, zlib, tempfile, threading), psycopg[binary]==3.2.3, psycopg-pool==3.2.4, minio==7.2.15 (S3-клиент, SigV4, multipart), urllib3==2.3.0, Pillow==11.1.0 (только пробное декодирование JPEG). Образы: python:3.12.7-slim@sha256:60d9996b…b50d, postgres:16.4-alpine@sha256:5660c2cb…e64c, haproxy:3.0.5-alpine@sha256:43a2591a…e949, chrislusf/seaweedfs:4.50@sha256:c2658820…4860 (полные digest — в compose.yaml и Dockerfile). Документация: AWS S3 (PutObject, multipart, presigned URLs), SeaweedFS wiki (S3 API, s3.json identities, weed server flags), спецификация PNG (RFC 2083 / W3C PNG: chunks, CRC, Adam7), JPEG (ITU T.81, маркеры SOF), Docker Compose, HAProxy 3.0. Код lab3 перенесён и доработан с помощью ИИ-ассистента (Claude); решения, запуск и проверки — автор.

Запуск из чистого clone

Проверено: MacBook Air M3, 16 GB RAM, macOS 26.4; Docker Desktop 28.0.4 (VM 8 vCPU, 7.7 GiB), Compose v2.34.0; Python 3.12 на хосте только для тестов. Порты 127.0.0.1:8080 (LB) и 127.0.0.1:8404 (статистика HAProxy) должны быть свободны (стенд lab3 нужно остановить: docker compose stop в его каталоге).

# 0. Локальные секреты и .env (не коммитятся; значения не печатаются; повтор ничего не перезаписывает).
#    Создаёт пароль БД, три пары ключей S3 (admin / api / janitor) и secrets/s3_identities.json с их правами.
./scripts/init-secrets.sh

# 1. Проверка конфигурации, сборка, запуск, ожидание готовности
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
#    порядок: db, s3 (healthy) -> migrate, s3-init (exit 0) -> api x2, janitor (healthy) -> lb
docker compose ps                    # migrate и s3-init Exited (0); порты только у lb

# 2. Обязательные проверки
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/start-all.sh

# 3. Проверки уровня 4 (результаты сохраняются в evidence/)
docker compose --profile tools run --rm s3-check                 # приватность bucket и права ключей вне API
docker compose --env-file .env run --rm --no-deps s3-init        # повторный bootstrap — идемпотентен
python3 student-tests/attachments_negative.py --output evidence/attachments-negative.json
python3 student-tests/attachment_failover.py  --output evidence/attachment-failover.json
python3 student-tests/s3_outage.py            --output evidence/s3-outage.json
python3 student-tests/upload_memory.py --concurrency 12 --rounds 3 --output evidence/upload-memory-c12.json
FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api   # учебный хук отказов, только на время теста
python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json
docker compose --env-file .env up -d --wait api                     # обратно FAULT_INJECTION=0

# 4. Janitor вручную: отчёт без изменений / исправление
docker compose run --rm --no-deps janitor python /app/src/janitor.py --once --dry-run
docker compose run --rm --no-deps janitor python /app/src/janitor.py --once

# 5. Безопасная остановка (данные остаются в volumes pgdata и s3data)
docker compose stop                  # или docker compose down (контейнеры удаляются, volumes остаются)

# 6. Намеренное удаление учебных данных (НЕОБРАТИМО: БД и все объекты S3)
docker compose down -v

Прогрев: от up до готовности ~30 с (SeaweedFS ~10–25 с: выбор raft-лидера master и регистрация volume-сервера). Bootstrap bucket и миграции выполняются автоматически однократными job; действия оператора, кроме перечисленных, не нужны. Однажды docker compose up --build завис на этапе сборки, повтор и docker compose build прошли; воспроизвести не удалось.

Архитектура и решения

клиент ──HTTP──> lb (HAProxy, 127.0.0.1:8080) ──roundrobin──> api × 2 (без портов наружу)
                                                                 │            │
                                   migrate (job) ──> db (PostgreSQL 16, pgdata)   метаданные, сессии, ключи
                                   s3-init (job) ──> s3 (SeaweedFS 4.50, s3data)  байты вложений, приватный bucket
                                   janitor ─────────> db + s3 (сверка, очистка)
Роль Service Образ Health/readiness Volume Сеть / порт Credentials
LB lb haproxy:3.0.5-alpine проверка конфигурации; сам проверяет /health/ready API — frontend+backend; 127.0.0.1:8080, :8404 нет
API api ×2 mtusi-messenger:lab4 (из Dockerfile) /health/live, /health/ready (только БД) — (без состояния) backend, 8080 внутри postgres_password, s3_api_*
Миграции migrate тот же exit 0 — backend postgres_password
БД db postgres:16.4-alpine pg_isready pgdata backend (internal) postgres_password
S3 s3 chrislusf/seaweedfs:4.50 /healthz S3 и master видит volume-сервер s3data backend, только :8333 s3_identities.json
Bootstrap S3 s3-init mtusi-messenger:lab4 exit 0 — backend s3_admin_* (только он)
Сверка janitor тот же heartbeat-файл ≤ 90 с — backend postgres_password, s3_janitor_*
Проверка s3-check (profile tools) тот же — — backend s3_api_*, s3_janitor_*

Почему SeaweedFS

Задание разрешает MinIO, SeaweedFS или RustFS. Образы minio/minio и minio/mc на момент работы удалены с Docker Hub (pull access denied … repository does not exist), на quay.io доступ закрыт. У SeaweedFS права ключей задаются декларативно (s3.json identities), это проще проверить и повторить. Один процесс weed server: master, volume и filer слушают только 127.0.0.1 внутри контейнера. Их HTTP API (UI master :9333, filer :8888, volume :8080) обходит авторизацию S3, поэтому они недоступны даже из backend-сети. Наружу контейнера открыт только S3 :8333. Встроенный IAM API (-s3.iam=false), Iceberg и Lance выключены; порты на хост не публикуются. Отдельной веб-консоли у SeaweedFS нет.

Модель данных и транзакционные границы

migrations/003_attachments.sql (expand-only): attachments (id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, status pending|ready, created_at, updated_at) и message_attachments (message_id, attachment_id, position).

  • Object key назначает сервер: originals/<случайный uuid4>. Он не совпадает с id вложения и не содержит filename. Filename — только отображаемое имя: 1–255 code points, без / \, NUL, управляющих символов, bidi-override (U+202A–E, U+2066–9, U+200E/F), не ./... Наружу ключ, bucket и адрес S3 не отдаются.

  • Upload POST /chats/{id}/attachments?filename=…. Порядок проверок:

    1. сессия;
    2. членство в чате (посторонний получает 404);
    3. filename, Content-Type (image/png|image/jpeg, иначе 415), Content-Length (> 10 MiB → 413 до чтения тела; chunked → 400);
    4. известный отказ S3 → 503 до приёма 10 MiB.

    Затем тело читается кусками по 64 KiB в безымянный временный файл (tempfile.TemporaryFile → O_TMPFILE: у файла нет имени в каталоге, он исчезает при закрытии и при падении процесса). SHA-256 считается на лету. По первым 33 байтам проверяются сигнатура (подмена MIME → 415) и пиксели из PNG IHDR (> 40 Мпикс → 413). Потом — полная проверка содержимого (src/images.py):

    • PNG — собственный потоковый валидатор: CRC каждого chunk, порядок IHDR/PLTE/IDAT/IEND, допустимые IHDR, IDAT распаковывается zlib шагами по 1 MiB без сохранения результата. Объём распакованных данных должен точно совпасть с вычисленным из IHDR (с учётом Adam7): больше — zlib-бомба, меньше — обрезанный файл. Данные после IEND (полиглот) не принимаются;
    • JPEG — размеры из маркера SOF без декодирования, затем пробное декодирование Pillow в режиме draft (масштаб 1/8): 36 Мпикс занимают ~2 MiB вместо ~108 MiB.
  • Запись: три шага, их порядок — основа согласованности:

    1. INSERT … status='pending' (COMMIT) — намерение известно БД до записи в S3;
    2. S3 PUT (multipart, части по 5 MiB);
    3. UPDATE … SET status='ready' WHERE status='pending' → 201 только после этого.

    Отсюда инвариант: в bucket нет объекта, о котором не знает БД (кроме ручного вмешательства).

  • Компенсация. PUT не удался (в том числе по таймауту, когда объект мог успеть записаться) или не удался шаг 3 → API удаляет объект, затем pending-строку. Если S3 не ответил, строка остаётся pending, и её добирает janitor. Если строку уже убрал janitor (шаг 3 вернул 0 строк), API удаляет свой объект и отвечает 503.

  • Janitor (src/janitor.py, под pg_try_advisory_lock), за один проход:

    • pending-строки старше grace → удалить объект (идемпотентно), затем строку;
    • объекты originals/* старше grace без строки → удалить;
    • ready-строки без объекта (строка стала ready раньше начала обхода bucket) → только отчёт, метаданные автоматически не удаляются.

    Grace по умолчанию 3600 с (ATTACHMENT_GRACE_SECONDS). Это в 60 раз больше полного срока приёма тела (UPLOAD_TIMEOUT_SECONDS=60) и таймаутов S3, поэтому идущая загрузка не может быть принята за брошенную. Ready-вложения janitor не удаляет никогда. Режимы: --dry-run, --once, фоновый цикл раз в 300 с.

  • Сообщение с вложениями. В той же транзакции, что и в lab3 (блокировка строки чата + ключ идемпотентности), выполняется SELECT … FOR SHARE по attachment_ids: все должны быть ready и принадлежать этому чату. Чужое, неизвестное или из другого чата того же пользователя — одинаково 404. text="" допустим только с ≥1 вложением. Отпечаток тела для Idempotency-Key включает attachment_ids; в lab3 он уже считался с [], поэтому старые ключи остались валидными.

  • Download GET /attachments/{id}/content: только участникам чата; pending не виден. Байты идут потоком из S3 через API, без redirect. Заголовки: Content-Type из метаданных, Content-Length, X-Content-Type-Options: nosniff, Cache-Control: private, no-store, ETag = SHA-256. После отдачи размер и SHA-256 сверяются с метаданными; расхождение пишется в лог, соединение закрывается. Нет объекта при ready-метаданных → 503 и ERROR в логе (такое рассогласование находит janitor). variant=thumbnail|crop|optimized → 404 (в lab4 вариантов нет), прочее → 400.

Права S3 (secrets/s3_identities.json, генерирует init-secrets.sh)

Ключ Кто получает Права в SeaweedFS Проверено s3-check
admin только job s3-init Admin, Read, List, Write —
api реплики API Read:bucket, Write:bucket Put/Get/Delete можно; ListBucket, CreateBucket, DeleteBucket, PutBucketPolicy — AccessDenied
janitor janitor List:bucket, Write:bucket List/Delete можно; GetObject — AccessDenied (содержимое не читает); CreateBucket — AccessDenied
аноним — нет identity GET объекта, ListBucket, ListAllMyBuckets, PUT — 403

Ограничение SeaweedFS: действие Write включает и Put, и Delete, поэтому отдельного «только удалять» для janitor нет.

Bootstrap (src/s3_bootstrap.py) идемпотентен:

  • ждёт S3;
  • создаёт bucket, только если его нет;
  • кладёт probe-объект и проверяет анонимными HTTP-запросами, что GET и List дают 403;
  • если bucket публичен — exit 1, и API не стартует.

Повторный запуск: created:false, already_existed:true, private:true (evidence/s3-bootstrap-idempotent.txt).

Health, таймауты, лимиты (дополнение к таблице lab3)

Параметр Значение Почему
/health/ready только PostgreSQL (как в lab3) S3 общий для всех реплик: убрать все реплики из LB при отказе S3 бессмысленно, а текстовые сообщения без S3 работают. Проверено: при остановленном S3 ready=200, сообщения 201
S3Health (фон, 1 с) PUT + GET health/<реплика>, устарело через 3 с У SeaweedFS после рестарта /healthz и HEAD bucket уже успешны, а первая запись висит ~5–13 с. Upload при неготовом S3 → сразу 503, download → 503 только при подтверждённом отказе
healthcheck s3 /healthz и master видит volume-сервер (/dir/status) иначе API стартовал раньше, чем S3 мог читать; restart.sh ждёт healthy S3 перед перезапуском API
S3-клиент API connect 2 с, read 5 с, без повторов 5 с < timeout server 10s у LB: API сам отвечает 503 в формате контракта, а не LB 504
HAProxy для upload http-request set-timeout server 75s приём ≤ 60 с + PUT; тело проксируется потоком (без http-buffer-request)
Приём тела UPLOAD_TIMEOUT_SECONDS=60 на всё тело, 30 с на один recv медленный клиент не держит поток бесконечно
Параллелизм на реплику загрузок 8 (ожидание 5 с → 503), JPEG-декодирований 2, S3 PUT 3 (ожидание 30 с) PUT — самый дорогой по памяти шаг (см. эксперимент)
Ранний отказ (401/404/413/415) остаток тела ≤ 20 MiB дочитывается и выбрасывается, больше — соединение закрывается иначе клиент, ещё передающий 10 MiB, получал обрыв вместо JSON 413
MALLOC_ARENA_MAX=2 в образе glibc не держит освобождённые буферы в арене каждого потока
SeaweedFS GOMEMLIMIT=512MiB, лимит 768 MiB, -{s3,filer,volume}.concurrentUploadLimitMB=64, кэши чтения 16/32 MiB, restart: unless-stopped без этого был OOM-kill при 12 параллельных загрузках (см. ниже)
Лимиты ресурсов api 0.5 CPU/256 MiB, s3 1 CPU/768 MiB, db 1 CPU/512 MiB, janitor 0.25 CPU/128 MiB, lb 0.5 CPU/128 MiB

Что перенесено из lab3 и что изменено

Перенесены без изменения поведения: REST API, scrypt и семафор входов, Bearer-сессии в PostgreSQL, идемпотентность сообщений, X-Instance-Id, graceful shutdown, job миграций, HAProxy (DNS-обнаружение реплик, JSON-ошибки LB, rate limit входа), скрипты stop-one.sh, start-all.sh, failover-each.sh, rolling-update.sh. Регрессия lab3 прогнана повторно (evidence/lab3-regression.txt: 6 проверок cursor; 320 конкурентных запросов через 2 реплики, 20 сообщений, 0 дублей). Изменено:

  • Message.attachment_ids;
  • маршрутизация: тело читается после выбора маршрута, а upload читает его сам, потоком;
  • restart.sh перезапускает и S3;
  • у db и s3 появился restart: unless-stopped;
  • digest-ы образов закреплены полностью.

failover-each.sh и rolling-update.sh в lab4 повторно не прогонялись.

Соответствие .env.example

Переменная skeleton Реализация
APP_*, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, API_REPLICAS, SESSION_STORE=postgres как в lab3
DATABASE_URL_FILE поддерживается; в compose используется POSTGRES_* + POSTGRES_PASSWORD_FILE
CACHE_URL_FILE не используется (Redis/Valkey нет)
S3_ENDPOINT http://s3:8333 (порт SeaweedFS S3, не 9000 как у MinIO)
S3_REGION, S3_BUCKET, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS как есть (us-east-1, messenger-attachments, 10485760, 40000000)
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE файлы Docker secrets; у каждого сервиса свой ключ (api / janitor / s3-init)
добавлены UPLOAD_TIMEOUT_SECONDS, UPLOAD_CONCURRENCY, DECODE_CONCURRENCY, S3_PUT_CONCURRENCY, S3_CONNECT_TIMEOUT_SECONDS, S3_READ_TIMEOUT_SECONDS, ATTACHMENT_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS, FAULT_INJECTION (по умолчанию 0)

Доказательства критериев

Все прогоны 06–07.11.2026 на итоговом коде, машина и лимиты — как выше.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make check, make test PASS; checksum, 404 постороннему для метаданных и байтов evidence/check.txt, evidence/smoke.txt
3: S3 в общем стенде, метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на диске API docker compose ps; s3-check; осмотр контейнеров API у API нет volumes (только bind-файлы secrets), /tmp/uploads пуст после всех тестов, временный файл безымянный; анонимные GET/List/PUT → 403 compose.yaml, evidence/api-no-local-originals.txt, evidence/s3-private-check.txt
3: 201 ready после сохранения, побайтный download, message с attachment_ids читается участником make test, attachments_negative.py 201 status=ready, SHA-256 и Content-Type совпадают для PNG, JPEG и PNG 10 482 871 B; bob скачивает файл alice, отправляет text="" + вложение evidence/smoke.txt, evidence/attachments-negative.txt
3: PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения/декодирования attachments_negative.py 10 MiB+1 → 413; IHDR 100000² и 7000×6000 → 413 без распаковки; zlib-бомба 50 MB → 415; 13 вариантов опасных filename → 400 evidence/attachments-negative.json
3: upload → остановка обслужившей реплики → download через другую attachment_failover.py (по каждой реплике) 2/2 раунда: остановлена именно загрузившая реплика, 5/5 скачиваний другой репликой, SHA-256 совпал evidence/attachment-failover.json
3: failover (публичный) make test-failover ×2 PASS, 2 реплики, 128/129 записей, 0 неуспешных, восстановление 3,6/3,5 с evidence/failover.txt
3: restart с volumes сохраняет метаданные и оригинал make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; StartedAt всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл evidence/persistence.txt
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, вложение другого чата; ошибка пользователя ≠ 500 attachments_negative.py 60/60 PASS, 0 ответов 5xx; все ошибки — JSON контракта с request_id = X-Request-Id evidence/attachments-negative.json
4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; компенсация/сверка с grace consistency_faults.py (FAULT_INJECTION=1) см. «Согласованность» ниже: компенсация ничего не оставляет, свежее не удаляется, после grace удалено всё брошенное, повторный проход ничего не находит evidence/consistency-faults.json
4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти upload_memory.py --concurrency 12 и 20 36/36 и 60/60 × 201; пиковый RSS API 95–102 MiB при лимите 256 и не растёт с 12 до 20; до исправления — 178–189 MiB evidence/upload-memory-c{12,20}.json, evidence/before-fix/
4: bootstrap bucket идемпотентен s3-init два раза подряд оба раза exit 0, created:false, private:true evidence/s3-bootstrap-idempotent.txt
4: у API отдельные ограниченные S3 credentials; консоль не открыта; проверка private bucket вне API docker compose --profile tools run --rm s3-check 21/21 PASS: права api/janitor/анонима как в таблице; из backend-сети закрыты 9333, 8080, 8888, 8111, 8181, 9101, открыт только 8333; на хост S3 не опубликован evidence/s3-private-check.txt
Проверка недоступности S3 (README, п. 5) s3_outage.py (stop и pause S3) upload/download → 503 unavailable + Retry-After: 1 за 10–15 мс; сообщения 201, ready 200; восстановление без перезапуска API evidence/s3-outage.json
Регрессия lab3 cursor_validation.py, idempotency_concurrency.py PASS; 0 дублей evidence/lab3-regression.txt

Эксперименты и отказы

Согласованность PostgreSQL ↔ S3 (student-tests/consistency_faults.py)

Методика: реальные upload через LB с заголовком X-Fault-Inject. Хук включён только при FAULT_INJECTION=1, в обычной работе выключен. crash-* — os._exit(86) прямо в обработчике: процесс умирает без finally и компенсаций (как SIGKILL), Docker перезапускает контейнер. Состояние БД и bucket снимается janitor в режиме --dry-run. Сироты и «missing» внедряются вручную: удалением строки в psql и удалением объекта ключом api.

Воздействие Что ожидаем Что наблюдали Итог
db-fail-after-s3-put: PUT прошёл, перевод в ready упал 503, компенсация 503; новых pending 0, новых объектов 0 ничего не осталось
crash-after-s3-put ×2: процесс умер после PUT pending + объект ждут janitor клиент получил ошибку соединения; +2 pending, +2 объекта; реплика перезапущена убрано janitor
crash-after-pending: процесс умер до PUT pending без объекта +1 pending, объектов не прибавилось убрано janitor
Клиент оборвал upload на 1 MiB из 5 ничего не создаётся строк и объектов не прибавилось (временный файл без имени исчез) —
Строку брошенной загрузки удалили вручную объект-сирота janitor: orphan_objects: 1 удалён после grace
Объект ready-вложения удалили в S3 только отчёт, download 503 download 503 (не 500); missing_objects растёт, строка не удалена требует человека
janitor с grace 3600 (всё свежее), dry-run и боевой ничего не удалять deleted_objects: 0, deleted_rows: 0 свежие и используемые не тронуты
ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор найти → удалить → 0 dry-run: 17 брошенных pending + 1 сирота, удалено 0; боевой: удалено 18 объектов и 17 строк; повтор: 0/0/0 контрольное ready-вложение скачивается, SHA-256 совпал

Брошенных pending нашлось 17, а не 2 (третью строку эксперимент сам превратил в сироту): 15 строк уже лежали в БД до начала эксперимента (baseline pending: 15). Они остались от реального инцидента — OOM-kill SeaweedFS во время эксперимента с памятью (см. ниже). Там PUT упал, компенсация тоже не достучалась до S3, и строки по проекту остались pending — janitor их нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: на ранних прогонах так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. Обход bucket из ~350 объектов и сверка с БД занимают ≈ 100 мс за проход.

Память при одновременных загрузках (student-tests/upload_memory.py)

Гипотеза: потоковый приём (буфер 64 KiB → временный файл), multipart PUT и draft-декодирование держат RAM реплики ограниченной и не зависящей линейно от числа одновременных загрузок.

Методика:

  • перед прогоном реплики API перезапускаются, затем идёт прогрев одной загрузкой каждого типа;
  • внутри контейнеров каждые 50 мс читаются VmRSS процесса и anon/file из cgroup memory.stat, в конце — VmHWM (пиковый RSS) и memory.peak;
  • нагрузка — N потоков через LB, 3 раунда;
  • файлы синтетические: несжимаемый PNG 10 482 871 B и JPEG 6000×6000 (36 Мпикс) 8 051 216 B, поровну;
  • клиент и стенд на одном ноутбуке, по одному прогону на конфигурацию — иллюстрация, а не статистика.
Конфигурация Загрузок / объём 201 wall, p50/max Пиковый RSS API (VmHWM), MiB cgroup peak API, MiB Пиковый RSS SeaweedFS
до: без лимита PUT, glibc по умолчанию, c=12 36 / 318 MiB 36 6,2 с; 1,9/2,2 с 178 / 189 (из 256) 213 / 229 не мерили
до: S3 без лимитов буферов, 512 MiB, c=12 36 / 318 MiB 36 5,9 с 96 / 94 145 / 124 395 MiB; в одном из прогонов — OOM-kill (exit 137), без restart S3 остался лежать
после, c=12 36 / 318 MiB 36 5,4 с; 1,55/1,82 с 95 / 99 135 / 127 484 MiB (лимит 768)
после, c=20 60 / 530 MiB 60 8,6 с; 2,4/3,1 с 98 / 102 154 / 168 477 MiB

Выводы:

  1. Память API. На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и MALLOC_ARENA_MAX=2 снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик не увеличил (95–99 → 98–102 MiB), а задержки выросли (p50 1,55 → 2,4 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах.
  2. File-память cgroup (cgroup peak − RSS ≈ 40–65 MiB) — page cache временных файлов. Она вытесняема и OOM не вызывает.
  3. SeaweedFS после исправлений выходит на плато ~480 MiB одинаково при c=12 и c=20, OOM нет, RestartCount 0. OOM из прогона до исправления зафиксирован в evidence/before-fix/s3-oom.txt.

Недоступность S3 (student-tests/s3_outage.py)

Воздействие Что ожидаем Что наблюдали Восстановление / потеря данных
docker compose stop s3 upload/download 503, текст и ready работают сразу и через 5 с: upload 503 (14 мс), download 503 (10 мс), Retry-After: 1; сообщение 201; ready 200 upload 201 через 19,7 с после start (старт SeaweedFS + выбор лидера) / 0
docker compose pause s3 (S3 завис) то же, без 500 и таймаутов LB первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 15 мс, download 503 за 10 мс; сообщения 201 upload 201 сразу после unpause / 0
make test-persistence (рестарт db, s3, api, janitor, lb) данные, сессия и файл сохраняются PASS, все StartedAt новые в пределах лимита теста / 0
stop-one.sh (SIGTERM загрузившей реплики) download через другую PASS, по каждой реплике 3,5–3,6 с по метрике публичного теста / 0

Ограничения и следующие шаги

  • Выдерживается: остановка или падение одной API-реплики (в том числе посреди upload — остаток убирает janitor), рестарт всего стенда с volumes, временная недоступность или зависание S3 (вложения — 503, остальной API работает), обрыв клиента.
  • Не выдерживается: потеря volume s3data или pgdata (одна копия, без репликации и бэкапов); отказ PostgreSQL, единственного S3 или LB; потеря Docker-host. SeaweedFS запущен одним процессом без репликации (replication 000).
  • Сразу после старта или рестарта SeaweedFS первые ~10–20 с upload получают 503 (S3Health ждёт успешной записи), чтение работает раньше. Это честный отказ, а не зависание, но и не нулевое время восстановления.
  • Компенсация при зависшем S3 удлиняет ответ до ~10 с (таймаут PUT + таймаут DELETE); это меньше таймаута LB 75 с.
  • Grace 1 ч — компромисс: брошенные объекты до часа занимают место; уменьшать его можно, пока он намного больше UPLOAD_TIMEOUT_SECONDS + таймаутов S3.
  • «Missing» (ready-строка без объекта) только сообщается в лог и отчёт janitor; автоматического восстановления нет (бэкапов нет).
  • Ранний отказ дочитывает тело до 20 MiB, в том числе для неаутентифицированных запросов. Это трафик, но не память (буфер 64 KiB), и он ограничен maxconn LB и таймаутом приёма.
  • Права SeaweedFS грубее IAM S3: Write = Put + Delete, поэтому у janitor есть и Put. Ключи статичны и меняются только перезапуском S3 с новым s3_identities.json.
  • Ресурсы SeaweedFS: ему нужно ~0,5 GiB RAM даже на учебном объёме; лимит 768 MiB подобран экспериментом на этой машине, а не расчётом.
  • Хук FAULT_INJECTION — учебный: при значении 1 любой аутентифицированный клиент может уронить реплику. В обычной конфигурации он выключен; в lab7 код хука стоит удалить.
  • Следующие шаги: stream PUT без буферизации части в памяти (другой клиент или UNSIGNED-PAYLOAD), presigned upload (трек 1), метрики janitor для lab6, при необходимости — replica SeaweedFS.