7.6 KiB
Отчёт — Лабораторная №4. S3-хранилище и вложения
Автор: Рестеу Д. А., БВТ2302
Целевая оценка: «4» (без исследовательских треков «5»).
Основа: собственная ЛР3 из ЛР3_Рестеу_БВТ2302(2).zip; контракт и публичные тесты — из mtusi2026lab4-main.zip.
Commit/PR: вне архива, заполнить после публикации.
Библиотеки/помощь: FastAPI, psycopg, Redis, Boto3, Pillow, Nginx, SeaweedFS; помощь ИИ при реализации и составлении тестов/отчёта.
Перенесено из ЛР3
- FastAPI, PostgreSQL, Redis, Argon2id, SQL-пагинация и сессии.
- Две API-реплики за Nginx,
X-Instance-Id, health/live, health/ready. - POST с
Idempotency-Keyв PostgreSQL, транзакция и защита от дублей. - CLI и shell/PowerShell hooks перезапуска/отказа реплик.
Новое в ЛР4
- Приватное SeaweedFS S3 (
chrislusf/seaweedfs:4.03), persistent volume, конфигурация двух учётных записей (админ и API). App credentials ограничены одним bucket. Не опубликованы S3/UI порты. - Таблицы
attachments,message_attachmentsв04_attachments.sql; PostgreSQL хранит только метаданные, байты — в S3. Сервер формирует непредсказуемый ключoriginals/<UUID>. POST /chats/{id}/attachments?filename=...получает сырые PNG/JPEG, читает порциями, проверяет ≤10MiB/≤40 млн пикселей, MIME по содержимому, повреждения файла и опасные имена. Возвращает201 status=readyпосле S3 PUT + DB COMMIT.GET /attachments/{id}/GET /attachments/{id}/content— только участникам чата, потоковая выдача оригинала без публичного S3-адреса и редиректов.- В
messages—attachment_idsдо 10 уникальных UUID. Возможен пустой текст при наличии вложения. Межчатовая ссылка запрещена (404). Идемпотентность учитываетattachment_ids. - Best-effort компенсация после неудачи БД, dry-run reconciler и безопасная очистка старых S3-orphans (не моложе 1 часа).
Запуск
Copy-Item .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python tests/smoke.py
python scripts/check_grade4.py
python scripts/experiment_uploads.py
Итоги проверки в среде подготовки: python scripts/check_contract.py — PASS; python -m compileall — PASS; локальная проверка validate_image на реальном/битом PNG и подмене MIME — PASS. Docker Engine в среде подготовки отсутствует, поэтому здесь нет достоверных результатов API smoke/failover/persistence/S3 и RAM. Их обязательно выполнить на Windows до защиты и приложить реальный вывод. Не выдавать ожидаемые PASS за фактические.
Критерии на «4» и доказательства
| Требование | Команда | Ожидаемый результат | Реальные доказательства |
|---|---|---|---|
| Работает ЛР3 и ЛР4 | python tests/smoke.py |
PASS, скачанный PNG совпадает побайтно | приложить evidence/smoke.txt |
| Границы и битые изображения | python scripts/check_grade4.py |
413, 415, 400 и 404, без 500 | приложить evidence/grade4.txt |
| Права другого чата | тот же check_grade4.py |
404 на чужие attachment IDs | тот же файл |
| Приватный S3 | docker compose exec -T api1 python scripts/check_s3_private.py |
403 без подписи | приложить evidence/private.txt |
| Отказ API | python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd |
файл доступен после смены API | приложить evidence/failover.txt |
| Долговечность при рестарте | python tests/resilience.py --mode persistence --action-script scripts/restart.cmd |
сохранён исходный PNG и токен | приложить evidence/persistence.txt |
| 10 параллельных загрузок + память | python scripts/experiment_uploads.py |
10 upload, фактический RAM peak | evidence/uploads-10.json (создастся при запуске) |
| Потеря связи с S3 | docker compose stop s3 → upload → docker compose up -d s3 |
503 на upload, восстановление | приложить evidence/s3-outage.txt |
| Очистка orphan | docker compose exec -T api1 python -m src.reconcile |
dry-run без удаления живых ключей | приложить evidence/reconcile.txt |
| Схема/синтаксис | python scripts/check_contract.py |
PASS (офлайн) | проверено локально |
Что происходит при сбое между S3 и БД
S3 PUT и транзакция PostgreSQL не атомарны. Если S3 PUT завершён, а запись в PostgreSQL неудачна, API делает компенсирующий DELETE. При аварийном завершении непосредственно между шагами объект может остаться без записи. src.reconcile периодически находит такие объекты, пропускает объекты младше часа, проверяет наличие ссылки в БД и удаляет только старые orphan-ключи originals/, и только при --apply. Сведения о несуществующем S3-объекте в БД не удаляются автоматически — это отдельный вид нарушения согласованности, требует ручной диагностики.
Условия эксперимента и ограничения
Для эксперимента 10 upload используются 10 параллельных потоков и tests/fixtures/sample.png (около 112 KiB), выборка docker stats API-контейнеров, фиксация количества успешных ответов и задержек. Замер зависит от времени выборки и Docker Desktop; это наблюдаемый пик, не гарантированное верхнее значение RSS. Если memory_samples=0, эксперимент по RAM не подтверждён. Для строгого доказательства повторить опыт 3 раза и сохранить сырые выводы.
Общие точки отказа: Nginx, одна PostgreSQL, один Redis, один SeaweedFS и один Docker-хост. Только локальный учебный стенд, не production. Консоль S3 не публикуется, но внутренние связи без TLS (в пределах локальной сети Compose).