Carry over lab3 HA stack and add private S3 storage, Attachment API, orphan compensation/reaper, own tests, and evidence for smoke/persistence/failover.
8.2 KiB
Отчёт — лабораторная 4
- Автор, группа: Соболев Даниил Романович, БПИ2302
- Целевая оценка; выбранный трек 5, если нужен: 4
- Commit/PR: ветка
solution/bpi2302-sobolev(после push) - Использованные источники, библиотеки и помощь ИИ: FastAPI, uvicorn, psycopg, redis, argon2-cffi, boto3, Pillow, RustFS, HAProxy; перенос решения lab3; помощь ИИ при S3/вложениях и compose
Запуск из чистого clone
Prerequisites: Docker Desktop / Compose; Python 3.9+ на хосте для tests/.
cp .env.example .env
powershell -File scripts/make_secrets.ps1 # или sh scripts/make_secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
Публичная точка входа: только LB http://127.0.0.1:8080 (порты API наружу не опубликованы).
S3 (RustFS): 127.0.0.1:9000 только для проверки private bucket с хоста; консоль RustFS не включена (RUSTFS_CONSOLE_ENABLE нет).
Ожидание готовности: GET http://127.0.0.1:8080/health/ready → {"status":"ok"} (Postgres + Redis + S3).
Миграции — one-shot сервис migrate (RUN_MIGRATIONS=true); у API RUN_MIGRATIONS=false.
Bucket messenger-attachments создаётся идемпотентно в API (S3Store.ensure_bucket).
# Windows (UTF-8 для contracts/openapi.json):
set PYTHONUTF8=1
py -3 tests\smoke.py --base-url http://localhost:8080
py -3 tests\own.py --base-url http://localhost:8080
py -3 tests\resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://localhost:8080
py -3 tests\resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://localhost:8080
# после failover поднять остановленную реплику:
scripts\start-stopped-api.cmd
Остановка (volumes сохраняются): docker compose --env-file .env down
Сброс учебных данных: docker compose --env-file .env down -v
Версии образов: python:3.12.7-slim-bookworm, postgres:16.4-bookworm, redis:7.4.1-bookworm, haproxy:2.9.7-bookworm, rustfs/rustfs:1.0.5.
Ручная сверка orphan (dry-run / apply):
docker compose --env-file .env run --rm api python -m app.reconcile
docker compose --env-file .env run --rm api python -m app.reconcile --apply
Секреты только в secrets/ (не в Git): Postgres, Redis URL, S3 access/secret. Создание — scripts/make_secrets.*.
Архитектура и решения
Клиент → HAProxy (:8080) → API×2+ → PostgreSQL (метаданные + idempotency + attachments)
↘ Redis (общие сессии, AOF everysec)
↘ RustFS private bucket (байты; object key назначает сервер)
Перенос lab3: LB, ≥2 API-реплики, Postgres, Redis-сессии, Argon2id, Basic→Bearer, Idempotency-Key, X-Instance-Id, hooks restart / stop-one.
lab4 — вложения:
- Таблицы
attachments,message_attachments(миграция003_attachments.sql). - Object key:
attachments/{chat_id}/{attachment_id};filenameтолько для отображения (запрет/,\, NUL, control). POST .../attachments?filename=: сырые PNG/JPEG, не multipart; ≤10 MiB; MIME по magic + Pillow; ≤40M пикселей → 413; подмена/мусор → 415.- Потоковое чтение тела (
app/upload.py); при превышении лимита поток дренируется, клиент получает 413 (не connection reset). - HTTP middleware без буферизации всего тела (
@app.middleware("http"), неBaseHTTPMiddleware). - Порядок записи: S3
PutObject→ INSERT метаданных; при ошибке БД — компенсирующийDeleteObject. - Orphan reaper: фоновый поток + CLI
python -m app.reconcile; удаляет ключи без строки в БД только послеORPHAN_GRACE_SECONDS(900 с). - Credentials: отдельные нестандартные access/secret для API (не built-in defaults RustFS); консоль выключена; anonymous GET объекта с
:9000→ 403/404. /health/readyпингует Postgres, Redis и S3 (head_bucket).- Сообщение:
attachment_ids(0–10);text=""допустим при ≥1 ready-вложении того же чата; чужой чат/id → 404.
Соответствие .env.example: SESSION_STORE=redis, S3_ENDPOINT=http://s3:9000, лимиты upload/pixels, ORPHAN_GRACE_SECONDS.
Доказательства критериев
Дата прогона: 2026-11-12. Стенд: Docker Desktop, --scale api=2, mem/cpu limits из compose.yaml.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|---|---|---|---|
| Публичный smoke lab4 | py -3 tests\smoke.py --base-url http://localhost:8080 |
PASS: lab4 public API scenario |
evidence/smoke.txt |
| ≥2 instance id (lab3) | tests\own.py |
instances 01e0dbb41bb1, b9570a5a3c7c |
evidence/own.txt |
| Upload/download/message + checksum | own happy path | PASS | evidence/own.txt |
| >10 MiB / битый / MIME spoof / evil filename | own limits | 413 / 415 / 415 / 400 | evidence/own.txt |
| Чужой пользователь / чужой chat attachment | own ACL | 404 | evidence/own.txt |
| Private bucket вне API | anonymous GET 127.0.0.1:9000/... |
403/404; download через API OK | evidence/own.txt |
| ≥10 concurrent uploads | own | 10×201 за ~2.48 с | evidence/own.txt |
| Persistence (+оригинал) | resilience.py --mode persistence + restart.cmd |
PASS session+данные+файл | evidence/persistence.txt |
| Failover (+download с другой реплики) | resilience.py --mode failover + stop-one.cmd |
PASS; first_recovery_seconds: 6.14 |
evidence/failover.txt |
Перезапуск persistence: docker compose --env-file .env restart (все сервисы стека, volumes не удаляются).
Failover: останавливается одна API-реплика (stop-one.cmd); трафик обслуживает вторая.
Эксперименты и отказы
| Воздействие | Ожидание | Что наблюдали | Восстановление / данные |
|---|---|---|---|
| 10 параллельных upload | все 201 | PASS ~2.48 с; API mem_limit 384m |
без потери |
| Файл >10 MiB | 413 без 500 | PASS | — |
| Битый PNG / MIME spoof | 415 | PASS | — |
| Eve → meta/content | 404 | PASS | — |
| attachment другого чата в message | 404 | PASS | — |
| Anonymous S3 GET | отказ | 403/404 | — |
restart всего стека |
сессия + attachment | persistence PASS | volumes сохранены |
| stop одной API | ≤10 с, файл с другой реплики | recovery 6.14 с | данные OK |
Гипотеза concurrent: при потоковом лимите и mem_limit 384m десять небольших PNG не упираются в OOM. Измерение — wall time own-теста; пик RSS контейнера смотреть docker stats на защите при необходимости.
Ограничения и следующие шаги
- Один Docker-host / один RustFS / один Postgres — не отказоустойчивость хранилищ.
- Download идёт прокси через API (без redirect) — нагрузка на RAM/сеть API; трек 5.1 (presigned) снизит её.
- Grace orphan: свежие объекты не удаляются; слишком короткий grace опасен при медленной записи в БД.
- Трек 5 не заявлен.