Files
mtusi2026lab4-fork/REPORT.md
daniil_sobolev 747ca222e5 Implement lab4 attachments on RustFS for grade 4.
Carry over lab3 HA stack and add private S3 storage, Attachment API, orphan compensation/reaper, own tests, and evidence for smoke/persistence/failover.
2026-11-12 20:41:02 +03:00

8.2 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Соболев Даниил Романович, БПИ2302
  • Целевая оценка; выбранный трек 5, если нужен: 4
  • Commit/PR: ветка solution/bpi2302-sobolev (после push)
  • Использованные источники, библиотеки и помощь ИИ: FastAPI, uvicorn, psycopg, redis, argon2-cffi, boto3, Pillow, RustFS, HAProxy; перенос решения lab3; помощь ИИ при S3/вложениях и compose

Запуск из чистого clone

Prerequisites: Docker Desktop / Compose; Python 3.9+ на хосте для tests/.

cp .env.example .env
powershell -File scripts/make_secrets.ps1   # или sh scripts/make_secrets.sh

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2

Публичная точка входа: только LB http://127.0.0.1:8080 (порты API наружу не опубликованы).
S3 (RustFS): 127.0.0.1:9000 только для проверки private bucket с хоста; консоль RustFS не включена (RUSTFS_CONSOLE_ENABLE нет).

Ожидание готовности: GET http://127.0.0.1:8080/health/ready → {"status":"ok"} (Postgres + Redis + S3).
Миграции — one-shot сервис migrate (RUN_MIGRATIONS=true); у API RUN_MIGRATIONS=false.
Bucket messenger-attachments создаётся идемпотентно в API (S3Store.ensure_bucket).

# Windows (UTF-8 для contracts/openapi.json):
set PYTHONUTF8=1
py -3 tests\smoke.py --base-url http://localhost:8080
py -3 tests\own.py --base-url http://localhost:8080
py -3 tests\resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://localhost:8080
py -3 tests\resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://localhost:8080
# после failover поднять остановленную реплику:
scripts\start-stopped-api.cmd

Остановка (volumes сохраняются): docker compose --env-file .env down
Сброс учебных данных: docker compose --env-file .env down -v

Версии образов: python:3.12.7-slim-bookworm, postgres:16.4-bookworm, redis:7.4.1-bookworm, haproxy:2.9.7-bookworm, rustfs/rustfs:1.0.5.

Ручная сверка orphan (dry-run / apply):

docker compose --env-file .env run --rm api python -m app.reconcile
docker compose --env-file .env run --rm api python -m app.reconcile --apply

Секреты только в secrets/ (не в Git): Postgres, Redis URL, S3 access/secret. Создание — scripts/make_secrets.*.

Архитектура и решения

Клиент → HAProxy (:8080) → API×2+ → PostgreSQL (метаданные + idempotency + attachments)
                              ↘ Redis (общие сессии, AOF everysec)
                              ↘ RustFS private bucket (байты; object key назначает сервер)

Перенос lab3: LB, ≥2 API-реплики, Postgres, Redis-сессии, Argon2id, Basic→Bearer, Idempotency-Key, X-Instance-Id, hooks restart / stop-one.

lab4 — вложения:

  • Таблицы attachments, message_attachments (миграция 003_attachments.sql).
  • Object key: attachments/{chat_id}/{attachment_id}; filename только для отображения (запрет /, \, NUL, control).
  • POST .../attachments?filename=: сырые PNG/JPEG, не multipart; ≤10 MiB; MIME по magic + Pillow; ≤40M пикселей → 413; подмена/мусор → 415.
  • Потоковое чтение тела (app/upload.py); при превышении лимита поток дренируется, клиент получает 413 (не connection reset).
  • HTTP middleware без буферизации всего тела (@app.middleware("http"), не BaseHTTPMiddleware).
  • Порядок записи: S3 PutObject → INSERT метаданных; при ошибке БД — компенсирующий DeleteObject.
  • Orphan reaper: фоновый поток + CLI python -m app.reconcile; удаляет ключи без строки в БД только после ORPHAN_GRACE_SECONDS (900 с).
  • Credentials: отдельные нестандартные access/secret для API (не built-in defaults RustFS); консоль выключена; anonymous GET объекта с :9000 → 403/404.
  • /health/ready пингует Postgres, Redis и S3 (head_bucket).
  • Сообщение: attachment_ids (0–10); text="" допустим при ≥1 ready-вложении того же чата; чужой чат/id → 404.

Соответствие .env.example: SESSION_STORE=redis, S3_ENDPOINT=http://s3:9000, лимиты upload/pixels, ORPHAN_GRACE_SECONDS.

Доказательства критериев

Дата прогона: 2026-11-12. Стенд: Docker Desktop, --scale api=2, mem/cpu limits из compose.yaml.

Критерий README Команда/сценарий Наблюдаемый результат Файл
Публичный smoke lab4 py -3 tests\smoke.py --base-url http://localhost:8080 PASS: lab4 public API scenario evidence/smoke.txt
≥2 instance id (lab3) tests\own.py instances 01e0dbb41bb1, b9570a5a3c7c evidence/own.txt
Upload/download/message + checksum own happy path PASS evidence/own.txt
>10 MiB / битый / MIME spoof / evil filename own limits 413 / 415 / 415 / 400 evidence/own.txt
Чужой пользователь / чужой chat attachment own ACL 404 evidence/own.txt
Private bucket вне API anonymous GET 127.0.0.1:9000/... 403/404; download через API OK evidence/own.txt
≥10 concurrent uploads own 10×201 за ~2.48 с evidence/own.txt
Persistence (+оригинал) resilience.py --mode persistence + restart.cmd PASS session+данные+файл evidence/persistence.txt
Failover (+download с другой реплики) resilience.py --mode failover + stop-one.cmd PASS; first_recovery_seconds: 6.14 evidence/failover.txt

Перезапуск persistence: docker compose --env-file .env restart (все сервисы стека, volumes не удаляются).
Failover: останавливается одна API-реплика (stop-one.cmd); трафик обслуживает вторая.

Эксперименты и отказы

Воздействие Ожидание Что наблюдали Восстановление / данные
10 параллельных upload все 201 PASS ~2.48 с; API mem_limit 384m без потери
Файл >10 MiB 413 без 500 PASS —
Битый PNG / MIME spoof 415 PASS —
Eve → meta/content 404 PASS —
attachment другого чата в message 404 PASS —
Anonymous S3 GET отказ 403/404 —
restart всего стека сессия + attachment persistence PASS volumes сохранены
stop одной API ≤10 с, файл с другой реплики recovery 6.14 с данные OK

Гипотеза concurrent: при потоковом лимите и mem_limit 384m десять небольших PNG не упираются в OOM. Измерение — wall time own-теста; пик RSS контейнера смотреть docker stats на защите при необходимости.

Ограничения и следующие шаги

  • Один Docker-host / один RustFS / один Postgres — не отказоустойчивость хранилищ.
  • Download идёт прокси через API (без redirect) — нагрузка на RAM/сеть API; трек 5.1 (presigned) снизит её.
  • Grace orphan: свежие объекты не удаляются; слишком короткий grace опасен при медленной записи в БД.
  • Трек 5 не заявлен.