38 KiB
Отчёт — лабораторная 4
- Автор, группа: Лазарев Юрий Сергеевич, БПИ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен
- Commit/PR: PR #91 — ЛР 4 — БПИ2303 — Лазарев — на 4; реализация
c5a07dc, веткаsolution/bpi2303-lazarev, fork zemiles/mtusi2026lab4. - Использованные источники, библиотеки и помощь ИИ: Python 3.12 (стандартная библиотека:
http.server,hashlib,zlib,tempfile,threading),psycopg[binary]==3.2.3,psycopg-pool==3.2.4,minio==7.2.15(S3-клиент, SigV4, multipart),urllib3==2.3.0,Pillow==11.1.0(только пробное декодирование JPEG). Образы:python:3.12.7-slim@sha256:60d9996b…b50d,postgres:16.4-alpine@sha256:5660c2cb…e64c,haproxy:3.0.5-alpine@sha256:43a2591a…e949,chrislusf/seaweedfs:4.50@sha256:c2658820…4860(полные digest — вcompose.yamlиDockerfile). Документация: AWS S3 (PutObject, multipart, presigned URLs), SeaweedFS wiki (S3 API,s3.jsonidentities,weed serverflags), спецификация PNG (RFC 2083 / W3C PNG: chunks, CRC, Adam7), JPEG (ITU T.81, маркеры SOF), Docker Compose, HAProxy 3.0. Код lab3 перенесён и доработан с помощью ИИ-ассистента (Claude); решения, запуск и проверки — автор.
Запуск из чистого clone
Проверено: MacBook Air M3, 16 GB RAM, macOS 26.4; Docker Desktop 28.0.4 (VM 8 vCPU, 7.7 GiB), Compose v2.34.0; Python 3.12 на хосте только для тестов. Порты 127.0.0.1:8080 (LB) и 127.0.0.1:8404 (статистика HAProxy) должны быть свободны (стенд lab3 нужно остановить: docker compose stop в его каталоге).
# 0. Локальные секреты и .env (не коммитятся; значения не печатаются; повтор ничего не перезаписывает).
# Создаёт пароль БД, три пары ключей S3 (admin / api / janitor) и secrets/s3_identities.json с их правами.
./scripts/init-secrets.sh
# 1. Проверка конфигурации, сборка, запуск, ожидание готовности
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
# порядок: db, s3 (healthy) -> migrate, s3-init (exit 0) -> api x2, janitor (healthy) -> lb
docker compose ps # migrate и s3-init Exited (0); порты только у lb
# 2. Обязательные проверки
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/start-all.sh
# 3. Проверки уровня 4 (результаты сохраняются в evidence/)
docker compose --profile tools run --rm s3-check # приватность bucket и права ключей вне API
docker compose --env-file .env run --rm --no-deps s3-init # повторный bootstrap — идемпотентен
python3 student-tests/attachments_negative.py --output evidence/attachments-negative.json
python3 student-tests/attachment_failover.py --output evidence/attachment-failover.json
python3 student-tests/s3_outage.py --output evidence/s3-outage.json
python3 student-tests/upload_memory.py --concurrency 12 --rounds 3 --output evidence/upload-memory-c12.json
FAULT_INJECTION=1 docker compose --env-file .env up -d --wait api # учебный хук отказов, только на время теста
python3 student-tests/consistency_faults.py --output evidence/consistency-faults.json
docker compose --env-file .env up -d --wait api # обратно FAULT_INJECTION=0
# 4. Janitor вручную: отчёт без изменений / исправление
docker compose run --rm --no-deps janitor python /app/src/janitor.py --once --dry-run
docker compose run --rm --no-deps janitor python /app/src/janitor.py --once
# 5. Безопасная остановка (данные остаются в volumes pgdata и s3data)
docker compose stop # или docker compose down (контейнеры удаляются, volumes остаются)
# 6. Намеренное удаление учебных данных (НЕОБРАТИМО: БД и все объекты S3)
docker compose down -v
Прогрев: от up до готовности ~30 с (SeaweedFS ~10–25 с: выбор raft-лидера master и регистрация volume-сервера). Bootstrap bucket и миграции выполняются автоматически однократными job; действия оператора, кроме перечисленных, не нужны. Однажды docker compose up --build завис на этапе сборки, повтор и docker compose build прошли; воспроизвести не удалось.
Архитектура и решения
клиент ──HTTP──> lb (HAProxy, 127.0.0.1:8080) ──roundrobin──> api × 2 (без портов наружу)
│ │
migrate (job) ──> db (PostgreSQL 16, pgdata) метаданные, сессии, ключи
s3-init (job) ──> s3 (SeaweedFS 4.50, s3data) байты вложений, приватный bucket
janitor ─────────> db + s3 (сверка, очистка)
| Роль | Service | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| LB | lb |
haproxy:3.0.5-alpine |
проверка конфигурации; сам проверяет /health/ready API |
— | frontend+backend; 127.0.0.1:8080, :8404 |
нет |
| API | api ×2 |
mtusi-messenger:lab4 (из Dockerfile) |
/health/live, /health/ready (только БД) |
— (без состояния) | backend, 8080 внутри |
postgres_password, s3_api_* |
| Миграции | migrate |
тот же | exit 0 | — | backend | postgres_password |
| БД | db |
postgres:16.4-alpine |
pg_isready |
pgdata |
backend (internal) |
postgres_password |
| S3 | s3 |
chrislusf/seaweedfs:4.50 |
/healthz S3 и master видит volume-сервер |
s3data |
backend, только :8333 |
s3_identities.json |
| Bootstrap S3 | s3-init |
mtusi-messenger:lab4 |
exit 0 | — | backend | s3_admin_* (только он) |
| Сверка | janitor |
тот же | heartbeat-файл ≤ 90 с | — | backend | postgres_password, s3_janitor_* |
| Проверка | s3-check (profile tools) |
тот же | — | — | backend | s3_api_*, s3_janitor_* |
Почему SeaweedFS
Задание разрешает MinIO, SeaweedFS или RustFS. Образы minio/minio и minio/mc на момент работы удалены с Docker Hub (pull access denied … repository does not exist), на quay.io доступ закрыт. У SeaweedFS права ключей задаются декларативно (s3.json identities), это проще проверить и повторить. Один процесс weed server: master, volume и filer слушают только 127.0.0.1 внутри контейнера. Их HTTP API (UI master :9333, filer :8888, volume :8080) обходит авторизацию S3, поэтому они недоступны даже из backend-сети. Наружу контейнера открыт только S3 :8333. Встроенный IAM API (-s3.iam=false), Iceberg и Lance выключены; порты на хост не публикуются. Отдельной веб-консоли у SeaweedFS нет.
Модель данных и транзакционные границы
migrations/003_attachments.sql (expand-only): attachments (id, chat_id, owner_id, filename, content_type, size_bytes, sha256, width, height, object_key UNIQUE, status pending|ready, created_at, updated_at) и message_attachments (message_id, attachment_id, position).
-
Object key назначает сервер:
originals/<случайный uuid4>. Он не совпадает с id вложения и не содержит filename. Filename — только отображаемое имя: 1–255 code points, без/ \, NUL, управляющих символов, bidi-override (U+202A–E, U+2066–9, U+200E/F), не./... Наружу ключ, bucket и адрес S3 не отдаются. -
Upload
POST /chats/{id}/attachments?filename=…. Порядок проверок:- сессия;
- членство в чате (посторонний получает 404);
- filename, Content-Type (
image/png|image/jpeg, иначе 415), Content-Length (> 10 MiB → 413 до чтения тела; chunked → 400); - известный отказ S3 → 503 до приёма 10 MiB.
Затем тело читается кусками по 64 KiB в безымянный временный файл (
tempfile.TemporaryFile→O_TMPFILE: у файла нет имени в каталоге, он исчезает при закрытии и при падении процесса). SHA-256 считается на лету. По первым 33 байтам проверяются сигнатура (подмена MIME → 415) и пиксели из PNG IHDR (> 40 Мпикс → 413). Потом — полная проверка содержимого (src/images.py):- PNG — собственный потоковый валидатор: CRC каждого chunk, порядок IHDR/PLTE/IDAT/IEND, допустимые IHDR, IDAT распаковывается zlib шагами по 1 MiB без сохранения результата. Объём распакованных данных должен точно совпасть с вычисленным из IHDR (с учётом Adam7): больше — zlib-бомба, меньше — обрезанный файл. Данные после IEND (полиглот) не принимаются;
- JPEG — размеры из маркера SOF без декодирования, затем пробное декодирование Pillow в режиме
draft(масштаб 1/8): 36 Мпикс занимают ~2 MiB вместо ~108 MiB.
-
Запись: три шага, их порядок — основа согласованности:
INSERT … status='pending'(COMMIT) — намерение известно БД до записи в S3;- S3 PUT (multipart, части по 5 MiB);
UPDATE … SET status='ready' WHERE status='pending'→ 201 только после этого.
Отсюда инвариант: в bucket нет объекта, о котором не знает БД (кроме ручного вмешательства).
-
Компенсация. PUT не удался (в том числе по таймауту, когда объект мог успеть записаться) или не удался шаг 3 → API удаляет объект, затем pending-строку. Если S3 не ответил, строка остаётся pending, и её добирает janitor. Если строку уже убрал janitor (шаг 3 вернул 0 строк), API удаляет свой объект и отвечает 503.
-
Janitor (
src/janitor.py, подpg_try_advisory_lock), за один проход:- pending-строки старше grace → удалить объект (идемпотентно), затем строку;
- объекты
originals/*старше grace без строки → удалить; - ready-строки без объекта (строка стала ready раньше начала обхода bucket) → только отчёт, метаданные автоматически не удаляются.
Grace по умолчанию 3600 с (
ATTACHMENT_GRACE_SECONDS). Это в 60 раз больше полного срока приёма тела (UPLOAD_TIMEOUT_SECONDS=60) и таймаутов S3, поэтому идущая загрузка не может быть принята за брошенную. Ready-вложения janitor не удаляет никогда. Режимы:--dry-run,--once, фоновый цикл раз в 300 с. -
Сообщение с вложениями. В той же транзакции, что и в lab3 (блокировка строки чата + ключ идемпотентности), выполняется
SELECT … FOR SHAREпоattachment_ids: все должны быть ready и принадлежать этому чату. Чужое, неизвестное или из другого чата того же пользователя — одинаково 404.text=""допустим только с ≥1 вложением. Отпечаток тела дляIdempotency-Keyвключаетattachment_ids; в lab3 он уже считался с[], поэтому старые ключи остались валидными. -
Download
GET /attachments/{id}/content: только участникам чата; pending не виден. Байты идут потоком из S3 через API, без redirect. Заголовки:Content-Typeиз метаданных,Content-Length,X-Content-Type-Options: nosniff,Cache-Control: private, no-store,ETag= SHA-256. После отдачи размер и SHA-256 сверяются с метаданными; расхождение пишется в лог, соединение закрывается. Нет объекта при ready-метаданных → 503 иERRORв логе (такое рассогласование находит janitor).variant=thumbnail|crop|optimized→ 404 (в lab4 вариантов нет), прочее → 400.
Права S3 (secrets/s3_identities.json, генерирует init-secrets.sh)
| Ключ | Кто получает | Права в SeaweedFS | Проверено s3-check |
|---|---|---|---|
| admin | только job s3-init |
Admin, Read, List, Write | — |
| api | реплики API | Read:bucket, Write:bucket |
Put/Get/Delete можно; ListBucket, CreateBucket, DeleteBucket, PutBucketPolicy — AccessDenied |
| janitor | janitor |
List:bucket, Write:bucket |
List/Delete можно; GetObject — AccessDenied (содержимое не читает); CreateBucket — AccessDenied |
| аноним | — | нет identity | GET объекта, ListBucket, ListAllMyBuckets, PUT — 403 |
Ограничение SeaweedFS: действие Write включает и Put, и Delete, поэтому отдельного «только удалять» для janitor нет.
Bootstrap (src/s3_bootstrap.py) идемпотентен:
- ждёт S3;
- создаёт bucket, только если его нет;
- кладёт probe-объект и проверяет анонимными HTTP-запросами, что GET и List дают 403;
- если bucket публичен — exit 1, и API не стартует.
Повторный запуск: created:false, already_existed:true, private:true (evidence/s3-bootstrap-idempotent.txt).
Health, таймауты, лимиты (дополнение к таблице lab3)
| Параметр | Значение | Почему |
|---|---|---|
/health/ready |
только PostgreSQL (как в lab3) | S3 общий для всех реплик: убрать все реплики из LB при отказе S3 бессмысленно, а текстовые сообщения без S3 работают. Проверено: при остановленном S3 ready=200, сообщения 201 |
| S3Health (фон, 1 с) | PUT + GET health/<реплика>, устарело через 3 с |
У SeaweedFS после рестарта /healthz и HEAD bucket уже успешны, а первая запись висит ~5–13 с. Upload при неготовом S3 → сразу 503, download → 503 только при подтверждённом отказе |
healthcheck s3 |
/healthz и master видит volume-сервер (/dir/status) |
иначе API стартовал раньше, чем S3 мог читать; restart.sh ждёт healthy S3 перед перезапуском API |
| S3-клиент API | connect 2 с, read 5 с, без повторов | 5 с < timeout server 10s у LB: API сам отвечает 503 в формате контракта, а не LB 504 |
| HAProxy для upload | http-request set-timeout server 75s |
приём ≤ 60 с + PUT; тело проксируется потоком (без http-buffer-request) |
| Приём тела | UPLOAD_TIMEOUT_SECONDS=60 на всё тело, 30 с на один recv |
медленный клиент не держит поток бесконечно |
| Параллелизм на реплику | загрузок 8 (ожидание 5 с → 503), JPEG-декодирований 2, S3 PUT 3 (ожидание 30 с) | PUT — самый дорогой по памяти шаг (см. эксперимент) |
| Ранний отказ (401/404/413/415) | остаток тела ≤ 20 MiB дочитывается и выбрасывается, больше — соединение закрывается | иначе клиент, ещё передающий 10 MiB, получал обрыв вместо JSON 413 |
MALLOC_ARENA_MAX=2 |
в образе | glibc не держит освобождённые буферы в арене каждого потока |
| SeaweedFS | GOMEMLIMIT=512MiB, лимит 768 MiB, -{s3,filer,volume}.concurrentUploadLimitMB=64, кэши чтения 16/32 MiB, restart: unless-stopped |
без этого был OOM-kill при 12 параллельных загрузках (см. ниже) |
| Лимиты ресурсов | api 0.5 CPU/256 MiB, s3 1 CPU/768 MiB, db 1 CPU/512 MiB, janitor 0.25 CPU/128 MiB, lb 0.5 CPU/128 MiB |
Что перенесено из lab3 и что изменено
Перенесены без изменения поведения: REST API, scrypt и семафор входов, Bearer-сессии в PostgreSQL, идемпотентность сообщений, X-Instance-Id, graceful shutdown, job миграций, HAProxy (DNS-обнаружение реплик, JSON-ошибки LB, rate limit входа), скрипты stop-one.sh, start-all.sh, failover-each.sh, rolling-update.sh. Регрессия lab3 прогнана повторно (evidence/lab3-regression.txt: 6 проверок cursor; 320 конкурентных запросов через 2 реплики, 20 сообщений, 0 дублей). Изменено:
Message.attachment_ids;- маршрутизация: тело читается после выбора маршрута, а upload читает его сам, потоком;
restart.shперезапускает и S3;- у
dbиs3появилсяrestart: unless-stopped; - digest-ы образов закреплены полностью.
failover-each.sh и rolling-update.sh в lab4 повторно не прогонялись.
Соответствие .env.example
| Переменная skeleton | Реализация |
|---|---|
APP_*, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, API_REPLICAS, SESSION_STORE=postgres |
как в lab3 |
DATABASE_URL_FILE |
поддерживается; в compose используется POSTGRES_* + POSTGRES_PASSWORD_FILE |
CACHE_URL_FILE |
не используется (Redis/Valkey нет) |
S3_ENDPOINT |
http://s3:8333 (порт SeaweedFS S3, не 9000 как у MinIO) |
S3_REGION, S3_BUCKET, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
как есть (us-east-1, messenger-attachments, 10485760, 40000000) |
S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE |
файлы Docker secrets; у каждого сервиса свой ключ (api / janitor / s3-init) |
| добавлены | UPLOAD_TIMEOUT_SECONDS, UPLOAD_CONCURRENCY, DECODE_CONCURRENCY, S3_PUT_CONCURRENCY, S3_CONNECT_TIMEOUT_SECONDS, S3_READ_TIMEOUT_SECONDS, ATTACHMENT_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS, FAULT_INJECTION (по умолчанию 0) |
Доказательства критериев
Все прогоны 06–07.11.2026 на итоговом коде, машина и лимиты — как выше.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make check, make test |
PASS; checksum, 404 постороннему для метаданных и байтов | evidence/check.txt, evidence/smoke.txt |
| 3: S3 в общем стенде, метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на диске API | docker compose ps; s3-check; осмотр контейнеров API |
у API нет volumes (только bind-файлы secrets), /tmp/uploads пуст после всех тестов, временный файл безымянный; анонимные GET/List/PUT → 403 |
compose.yaml, evidence/api-no-local-originals.txt, evidence/s3-private-check.txt |
3: 201 ready после сохранения, побайтный download, message с attachment_ids читается участником |
make test, attachments_negative.py |
201 status=ready, SHA-256 и Content-Type совпадают для PNG, JPEG и PNG 10 482 871 B; bob скачивает файл alice, отправляет text="" + вложение |
evidence/smoke.txt, evidence/attachments-negative.txt |
| 3: PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения/декодирования | attachments_negative.py |
10 MiB+1 → 413; IHDR 100000² и 7000×6000 → 413 без распаковки; zlib-бомба 50 MB → 415; 13 вариантов опасных filename → 400 | evidence/attachments-negative.json |
| 3: upload → остановка обслужившей реплики → download через другую | attachment_failover.py (по каждой реплике) |
2/2 раунда: остановлена именно загрузившая реплика, 5/5 скачиваний другой репликой, SHA-256 совпал | evidence/attachment-failover.json |
| 3: failover (публичный) | make test-failover ×2 |
PASS, 2 реплики, 128/129 записей, 0 неуспешных, восстановление 3,6/3,5 с | evidence/failover.txt |
| 3: restart с volumes сохраняет метаданные и оригинал | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; StartedAt всех 6 контейнеров (db, s3, api×2, janitor, lb) изменился; тот же токен, тот же файл |
evidence/persistence.txt |
4: тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, вложение другого чата; ошибка пользователя ≠ 500 |
attachments_negative.py |
60/60 PASS, 0 ответов 5xx; все ошибки — JSON контракта с request_id = X-Request-Id |
evidence/attachments-negative.json |
| 4: прерывание загрузки и отказ между S3 и БД не оставляют вечных объектов; компенсация/сверка с grace | consistency_faults.py (FAULT_INJECTION=1) |
см. «Согласованность» ниже: компенсация ничего не оставляет, свежее не удаляется, после grace удалено всё брошенное, повторный проход ничего не находит | evidence/consistency-faults.json |
| 4: лимиты/таймауты и потоковая обработка; ≥ 10 одновременных загрузок с замером пика памяти | upload_memory.py --concurrency 12 и 20 |
36/36 и 60/60 × 201; пиковый RSS API 95–102 MiB при лимите 256 и не растёт с 12 до 20; до исправления — 178–189 MiB | evidence/upload-memory-c{12,20}.json, evidence/before-fix/ |
| 4: bootstrap bucket идемпотентен | s3-init два раза подряд |
оба раза exit 0, created:false, private:true |
evidence/s3-bootstrap-idempotent.txt |
| 4: у API отдельные ограниченные S3 credentials; консоль не открыта; проверка private bucket вне API | docker compose --profile tools run --rm s3-check |
21/21 PASS: права api/janitor/анонима как в таблице; из backend-сети закрыты 9333, 8080, 8888, 8111, 8181, 9101, открыт только 8333; на хост S3 не опубликован | evidence/s3-private-check.txt |
| Проверка недоступности S3 (README, п. 5) | s3_outage.py (stop и pause S3) |
upload/download → 503 unavailable + Retry-After: 1 за 10–15 мс; сообщения 201, ready 200; восстановление без перезапуска API |
evidence/s3-outage.json |
| Регрессия lab3 | cursor_validation.py, idempotency_concurrency.py |
PASS; 0 дублей | evidence/lab3-regression.txt |
Эксперименты и отказы
Согласованность PostgreSQL ↔ S3 (student-tests/consistency_faults.py)
Методика: реальные upload через LB с заголовком X-Fault-Inject. Хук включён только при FAULT_INJECTION=1, в обычной работе выключен. crash-* — os._exit(86) прямо в обработчике: процесс умирает без finally и компенсаций (как SIGKILL), Docker перезапускает контейнер. Состояние БД и bucket снимается janitor в режиме --dry-run. Сироты и «missing» внедряются вручную: удалением строки в psql и удалением объекта ключом api.
| Воздействие | Что ожидаем | Что наблюдали | Итог |
|---|---|---|---|
db-fail-after-s3-put: PUT прошёл, перевод в ready упал |
503, компенсация | 503; новых pending 0, новых объектов 0 | ничего не осталось |
crash-after-s3-put ×2: процесс умер после PUT |
pending + объект ждут janitor | клиент получил ошибку соединения; +2 pending, +2 объекта; реплика перезапущена | убрано janitor |
crash-after-pending: процесс умер до PUT |
pending без объекта | +1 pending, объектов не прибавилось | убрано janitor |
| Клиент оборвал upload на 1 MiB из 5 | ничего не создаётся | строк и объектов не прибавилось (временный файл без имени исчез) | — |
| Строку брошенной загрузки удалили вручную | объект-сирота | janitor: orphan_objects: 1 |
удалён после grace |
| Объект ready-вложения удалили в S3 | только отчёт, download 503 | download 503 (не 500); missing_objects растёт, строка не удалена |
требует человека |
| janitor с grace 3600 (всё свежее), dry-run и боевой | ничего не удалять | deleted_objects: 0, deleted_rows: 0 |
свежие и используемые не тронуты |
| ожидание 22 с, janitor с grace 20: dry-run → боевой → повтор | найти → удалить → 0 | dry-run: 17 брошенных pending + 1 сирота, удалено 0; боевой: удалено 18 объектов и 17 строк; повтор: 0/0/0 | контрольное ready-вложение скачивается, SHA-256 совпал |
Брошенных pending нашлось 17, а не 2 (третью строку эксперимент сам превратил в сироту): 15 строк уже лежали в БД до начала эксперимента (baseline pending: 15). Они остались от реального инцидента — OOM-kill SeaweedFS во время эксперимента с памятью (см. ниже). Там PUT упал, компенсация тоже не достучалась до S3, и строки по проекту остались pending — janitor их нашёл и убрал. Ещё эксперимент нашёл ошибку в первой версии компенсации. При неудачном PUT удалялась только pending-строка, а PUT по таймауту мог успеть записать объект: на ранних прогонах так возникли 2 объекта-сироты. Исправлено: сначала удаляется объект, потом строка. Обход bucket из ~350 объектов и сверка с БД занимают ≈ 100 мс за проход.
Память при одновременных загрузках (student-tests/upload_memory.py)
Гипотеза: потоковый приём (буфер 64 KiB → временный файл), multipart PUT и draft-декодирование держат RAM реплики ограниченной и не зависящей линейно от числа одновременных загрузок.
Методика:
- перед прогоном реплики API перезапускаются, затем идёт прогрев одной загрузкой каждого типа;
- внутри контейнеров каждые 50 мс читаются VmRSS процесса и
anon/fileиз cgroupmemory.stat, в конце —VmHWM(пиковый RSS) иmemory.peak; - нагрузка — N потоков через LB, 3 раунда;
- файлы синтетические: несжимаемый PNG 10 482 871 B и JPEG 6000×6000 (36 Мпикс) 8 051 216 B, поровну;
- клиент и стенд на одном ноутбуке, по одному прогону на конфигурацию — иллюстрация, а не статистика.
| Конфигурация | Загрузок / объём | 201 | wall, p50/max | Пиковый RSS API (VmHWM), MiB | cgroup peak API, MiB | Пиковый RSS SeaweedFS |
|---|---|---|---|---|---|---|
| до: без лимита PUT, glibc по умолчанию, c=12 | 36 / 318 MiB | 36 | 6,2 с; 1,9/2,2 с | 178 / 189 (из 256) | 213 / 229 | не мерили |
| до: S3 без лимитов буферов, 512 MiB, c=12 | 36 / 318 MiB | 36 | 5,9 с | 96 / 94 | 145 / 124 | 395 MiB; в одном из прогонов — OOM-kill (exit 137), без restart S3 остался лежать |
| после, c=12 | 36 / 318 MiB | 36 | 5,4 с; 1,55/1,82 с | 95 / 99 | 135 / 127 | 484 MiB (лимит 768) |
| после, c=20 | 60 / 530 MiB | 60 | 8,6 с; 2,4/3,1 с | 98 / 102 | 154 / 168 | 477 MiB |
Выводы:
- Память API. На простое RSS реплики ~50 MiB. Основную добавку давал S3 PUT: minio-py держит в памяти часть 5 MiB с копиями для подписи, ~20 MiB на загрузку. Ограничение PUT до 3 на реплику (тело уже на диске, остальные ждут в очереди) и
MALLOC_ARENA_MAX=2снизили пик почти вдвое. Рост конкуренции с 12 до 20 пик не увеличил (95–99 → 98–102 MiB), а задержки выросли (p50 1,55 → 2,4 с) — избыток ждёт, а не занимает память. Гипотеза подтверждена в этих пределах. - File-память cgroup (cgroup peak − RSS ≈ 40–65 MiB) — page cache временных файлов. Она вытесняема и OOM не вызывает.
- SeaweedFS после исправлений выходит на плато ~480 MiB одинаково при c=12 и c=20, OOM нет,
RestartCount 0. OOM из прогона до исправления зафиксирован вevidence/before-fix/s3-oom.txt.
Недоступность S3 (student-tests/s3_outage.py)
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|---|---|---|---|
docker compose stop s3 |
upload/download 503, текст и ready работают | сразу и через 5 с: upload 503 (14 мс), download 503 (10 мс), Retry-After: 1; сообщение 201; ready 200 |
upload 201 через 19,7 с после start (старт SeaweedFS + выбор лидера) / 0 |
docker compose pause s3 (S3 завис) |
то же, без 500 и таймаутов LB | первый upload после паузы — 503 за 10,0 с (PUT 5 с + попытка компенсации 5 с); дальше S3Health знает об отказе: upload 503 за 15 мс, download 503 за 10 мс; сообщения 201 | upload 201 сразу после unpause / 0 |
make test-persistence (рестарт db, s3, api, janitor, lb) |
данные, сессия и файл сохраняются | PASS, все StartedAt новые |
в пределах лимита теста / 0 |
stop-one.sh (SIGTERM загрузившей реплики) |
download через другую | PASS, по каждой реплике | 3,5–3,6 с по метрике публичного теста / 0 |
Ограничения и следующие шаги
- Выдерживается: остановка или падение одной API-реплики (в том числе посреди upload — остаток убирает janitor), рестарт всего стенда с volumes, временная недоступность или зависание S3 (вложения — 503, остальной API работает), обрыв клиента.
- Не выдерживается: потеря volume
s3dataилиpgdata(одна копия, без репликации и бэкапов); отказ PostgreSQL, единственного S3 или LB; потеря Docker-host. SeaweedFS запущен одним процессом без репликации (replication 000). - Сразу после старта или рестарта SeaweedFS первые ~10–20 с upload получают 503 (S3Health ждёт успешной записи), чтение работает раньше. Это честный отказ, а не зависание, но и не нулевое время восстановления.
- Компенсация при зависшем S3 удлиняет ответ до ~10 с (таймаут PUT + таймаут DELETE); это меньше таймаута LB 75 с.
- Grace 1 ч — компромисс: брошенные объекты до часа занимают место; уменьшать его можно, пока он намного больше
UPLOAD_TIMEOUT_SECONDS+ таймаутов S3. - «Missing» (ready-строка без объекта) только сообщается в лог и отчёт janitor; автоматического восстановления нет (бэкапов нет).
- Ранний отказ дочитывает тело до 20 MiB, в том числе для неаутентифицированных запросов. Это трафик, но не память (буфер 64 KiB), и он ограничен
maxconnLB и таймаутом приёма. - Права SeaweedFS грубее IAM S3:
Write= Put + Delete, поэтому у janitor есть и Put. Ключи статичны и меняются только перезапуском S3 с новымs3_identities.json. - Ресурсы SeaweedFS: ему нужно ~0,5 GiB RAM даже на учебном объёме; лимит 768 MiB подобран экспериментом на этой машине, а не расчётом.
- Хук
FAULT_INJECTION— учебный: при значении 1 любой аутентифицированный клиент может уронить реплику. В обычной конфигурации он выключен; в lab7 код хука стоит удалить. - Следующие шаги: stream PUT без буферизации части в памяти (другой клиент или
UNSIGNED-PAYLOAD), presigned upload (трек 1), метрики janitor для lab6, при необходимости — replica SeaweedFS.