forked from mtusi2026/mtusi2026lab4
9.1 KiB
9.1 KiB
Отчёт — лабораторная 4
- Автор, группа: Яковлев Матвей Дмитриевич, БПИ2304
- Целевая оценка; выбранный трек 5, если нужен: 3
- Commit/PR: ветка: (solution/BPI2304-Yakovlev); MR: (mtusi2026/mtusi2026lab4#155)
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.135.3, Uvicorn 0.44.0, psycopg 3.3.3, boto3 1.40.67, PostgreSQL 16-alpine, MinIO (bitnamilegacy/minio), nginx 1.27-alpine; версии закреплены в
requirements.txt,compose.yaml,Dockerfile. При подготовке использовалась помощь Claude.
Запуск из чистого clone
git clone <url-вашего-fork> && cd <каталог>
cp .env.example .env # только синтетические локальные креды; .env в Git не попадает
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
curl -i http://localhost:8080/health/ready # nginx — единственная публичная точка
python tests/smoke.py --base-url http://localhost:8080
Публикуется только порт 8080 балансировщика. PostgreSQL, MinIO и обе API-реплики
доступны только во внутренней сети Compose. Консоль MinIO (9001) наружу не открыта.
Безопасная остановка: docker compose --env-file .env stop api1 api2 db minio.
Намеренное удаление учебных данных: docker compose --env-file .env down -v.
Явные проверки:
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Windows локально: scripts/restart.cmd и scripts/stop-one.cmd
Вывод команд — evidence/lifecycle.txt.
Архитектура и решения
Клиент → nginx (lb) → api1/api2 → PostgreSQL (метаданные) + MinIO (байты).
- Минимальный S3-сервер —
bitnamilegacy/minio:latest(официальныйminio/minioудалён с Docker Hub,quay.io/minio/minioтребует авторизацию при pull). Приватный bucketmessengerсоздаётся идемпотентно:MINIO_DEFAULT_BUCKETSпри старте сервера иhead_bucket/create_bucketвapp/s3.py(обрабатываетBucketAlreadyOwnedByYou). - Разделение метаданных и байтов: таблица
attachmentsхранит id, chat_id, owner_id, filename, content_type, size_bytes, sha256, сгенерированный серверомobject_key, status, variants, error_code. Байты лежат только в приватном bucket; в БД и на локальном диске API оригинала нет.filenameне используется как ключ S3. - Проверки загрузки (
app/images.py): MIME определяется по magic bytes PNG/JPEG, заголовок Content-Type обязан совпадать; размеры читаются из IHDR/SOF без полного декодирования; лимит 10 MiB применяется потоково до полной буферизации, лимит 40 млн пикселей — до декодирования. Имя файла не содержит/,\, NUL и управляющие символы. Несоответствие MIME → 415, превышение → 413, мусор → 415, не 500. - Консистентность S3/БД: S3 PUT выполняется до вставки метаданных; при неудачной
транзакции PostgreSQL выполняется best-effort
delete_object(нет вечного неучтённого объекта).201 readyвозвращается только после успешного PUT и COMMIT. - Доступ:
GET /attachments/{id}и/contentтребуют Bearer и membership в чате; посторонний и неизвестный ID получают одинаковый 404. Download идёт через API побайтно, без redirect; variant по умолчаниюoriginal, других вариантов в lab4 нет. - Сообщения с вложениями:
attachment_ids(0–10 уникальных UUID) Check-validate, все ID обязаны принадлежать тому же чату иначе 404; пустой текст допустим только при наличии вложения. Идемпотентный ключ хранится в PostgreSQL и покрывает каноническое тело сattachment_ids; повтор возвращает тот же Message. - Отказ и рестарт:
scripts/stop-one.shостанавливает только реплику с alias изX-Instance-Id; nginx настроен сmax_fails=1 fail_timeout=5s,proxy_connect_timeout 1sиproxy_next_upstream error timeout http_502 http_503 http_504, поэтому вторая реплика продолжает отдавать и метаданные, и байты из общего S3.scripts/restart.shперезапускаетdb,minio,api1,api2без удаления volume.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| S3 в стенде, метаданные в PostgreSQL, байты в приватном bucket | docker compose ps; psql SELECT |
5 сервисов; строки attachments с object_key; байты не в БД |
evidence/lifecycle.txt, разделы 1, 4 |
| Upload 201 ready, checksum и побайтный download | python tests/smoke.py |
PASS: lab4 public API scenario...; SHA-256 и размер совпадают |
evidence/lifecycle.txt, раздел 3 |
| Чужой чат/вложение недоступно | smoke: 404 для eve | PASS | evidence/lifecycle.txt, раздел 3 |
| Лимиты и MIME по содержимому | app/images.py + own tests |
14 юнит-тестов OK (fixture PNG, мусор, filename) | evidence/lifecycle.txt, раздел 9 |
| Restart с сохранением volumes и того же файла | make test-persistence |
PASS: данные, сессия и оригинал прочитаны после рестарта | evidence/lifecycle.txt, разделы 5–6 |
| Отказ реплики, download через другую | make test-failover |
2 реплики до отказа, 105 успешных записей, 1 переходная ошибка, recovery 0.624 с, PASS | evidence/lifecycle.txt, разделы 7–8 |
| lab3-минимум сохранён | smoke + idempotency_records | PASS; ledger в PostgreSQL | evidence/lifecycle.txt, разделы 3–4 |
Эксперименты и отказы
Не проводились (целевая оценка 3); уровни 4/5 с отказами S3, reconciliation и нагрузочными экспериментами не заявлены.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Останов API-реплики, загрузившей файл | вторая реплика читает метаданные и байты из общего S3 | PASS: исходный файл побайтно совпадает, сессия и сообщения на месте | первая успешная запись за 0.624 с; потерь 0 |
Перезапуск db + minio + api1 + api2 |
вложения и оригиналы сохраняются | PASS; schema_migrations без повторов |
автоматическое ожидание готовности; потерь 0 |
Ограничения и следующие шаги
- Уровень 4 не реализован: нет отдельной проверки недоступности S3, отрицательных тестов >10 MiB/подмены MIME, reconciliation orphan-объектов с grace period, ограниченных S3-credentials и эксперимента ≥10 одновременных загрузок.
- Компенсация при отказе между S3 PUT и DB COMMIT — best-effort в том же запросе; нет фонового reconciler (это тема уровня 5).
- MinIO без TLS и с общим логином в локальном Compose — только для изолированного стенда с синтетическими данными; для удалённой демонстрации нужен TLS.
- PostgreSQL и nginx остаются SPOF; отказ узла БД не моделируется.