Финализация отчёта лабораторной 4
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
- **Автор, группа:** Станислав Травкин, группа: БВТ2304.
|
||||
- **Целевая оценка:** 5.
|
||||
- **Выбранный трек оценки 5:** трек 2 — Two-store reconciliation (сверка метаданных PostgreSQL и объектов S3).
|
||||
- **Commit/PR:** указать после финального коммита и публикации.
|
||||
- **Git:** ветка `solution/bvt2304-travkin`; опубликованный коммит реализации `0ef8d739d7c843ac82f3843f11321d8732580a07`. Финальный коммит с отчётом будет опубликован в той же ветке. **PR:** создаётся после публикации финальных изменений.
|
||||
- **Использованные источники, библиотеки и помощь ИИ:** README и методические требования лабораторной работы; Python 3.13, FastAPI, SQLAlchemy, Alembic, PostgreSQL, Redis, boto3, Pillow, MinIO, Nginx, Docker Compose. ChatGPT использовался для обсуждения архитектуры, реализации, диагностики ошибок, подготовки тестовых сценариев и отчёта. Реализация проверялась запуском тестов и экспериментами в локальном окружении.
|
||||
|
||||
## Запуск из чистого clone
|
||||
@@ -22,7 +22,7 @@
|
||||
| Nginx | `nginx:1.29-alpine` |
|
||||
| API и миграции | Локальная сборка из `Dockerfile` |
|
||||
|
||||
Для запуска необходимы Docker Engine, Docker Compose, Python с зависимостями проекта и свободные локальные порты 8080 и 9001.
|
||||
Для запуска необходимы Docker Engine, Docker Compose, Python 3.13, Bash и свободные локальные порты 8080 и 9001. Порт 9001 публикуется только на `127.0.0.1`; API MinIO доступен внутри сети Compose.
|
||||
|
||||
### Подготовка
|
||||
|
||||
@@ -35,23 +35,17 @@ pip install -r requirements.txt
|
||||
pip install -r requirements-dev.txt
|
||||
```
|
||||
|
||||
Оператор должен создать каталог `secrets` и семь файлов:
|
||||
Подготовить локальные секреты и конфигурацию командой:
|
||||
|
||||
```text
|
||||
secrets/postgres_password
|
||||
secrets/database_url
|
||||
secrets/cache_url
|
||||
secrets/minio_root_user
|
||||
secrets/minio_root_password
|
||||
secrets/s3_access_key_id
|
||||
secrets/s3_secret_access_key
|
||||
```bash
|
||||
./scripts/bootstrap.sh
|
||||
```
|
||||
|
||||
Содержимое файлов задаётся локально и не публикуется в репозитории.
|
||||
Скрипт создаёт каталог `secrets/` и семь файлов: `postgres_password`, `database_url`, `cache_url`, `minio_root_user`, `minio_root_password`, `s3_access_key_id`, `s3_secret_access_key`. Для отсутствующих секретов генерируются значения, а уже существующие непустые файлы сохраняются. `database_url` создаётся со значением для пользователя PostgreSQL `lab2` и паролем из `postgres_password`; `cache_url` указывает на Redis. Учётные данные S3-приложения отличаются от административных данных MinIO.
|
||||
|
||||
`database_url` содержит строку подключения к PostgreSQL с тем же паролем, который указан в `postgres_password`. `cache_url` содержит строку подключения к Redis. Учётные данные S3-приложения должны отличаться от учётных данных администратора MinIO.
|
||||
Скрипт также копирует `.env.example` в `.env`, если локального `.env` ещё нет, и выполняет `docker compose config --quiet`. Параметры реального стенда задаются главным образом через `environment` в `compose.yaml`, а секреты подключаются как файлы `/run/secrets`. Вручную заполнять `.env` для текущего Compose не требуется.
|
||||
|
||||
Файл `.env.example` является справочным описанием параметров. В текущей реализации Docker Compose передаёт настройки контейнерам непосредственно через `environment`, а секреты — через файлы в `/run/secrets`. Создание `.env` не требуется для запуска представленного `compose.yaml`.
|
||||
**Важно:** текущий bootstrap устанавливает для файлов `secrets/*` режим `644`, то есть локальные пользователи хоста могут получить право чтения. Это учебное ограничение: каталог имеет режим `700`, но права файлов следует ужесточить для многопользовательского хоста, предварительно обеспечив доступ непривилегированным контейнерам. Не публиковать содержимое `secrets/`, `.env`, пароли и токены. При повторном запуске на уже заполненных томах PostgreSQL/MinIO нельзя бездумно менять согласованные учётные данные.
|
||||
|
||||
### Сборка и запуск
|
||||
|
||||
@@ -76,6 +70,14 @@ docker compose run --rm migrate alembic current
|
||||
|
||||
### Проверка
|
||||
|
||||
После запуска дождаться готовности API:
|
||||
|
||||
```bash
|
||||
curl --fail http://localhost:8080/health/ready
|
||||
```
|
||||
|
||||
Затем выполнить:
|
||||
|
||||
```bash
|
||||
make check
|
||||
make validate
|
||||
@@ -212,7 +214,7 @@ PostgreSQL и MinIO не участвуют в общей распределён
|
||||
| Проверка OpenAPI | `make validate` | PASS | `scripts/validate_openapi.py`, `REPORT.md` |
|
||||
| Две API-реплики | `docker compose ps api-1 api-2` | Обе реплики healthy | `compose.yaml`, `REPORT.md` |
|
||||
| PostgreSQL и Redis | `docker compose ps -a` | Хранилища healthy | `compose.yaml`, `REPORT.md` |
|
||||
| Приватное S3-хранилище | Анонимный запрос списка объектов бакета | HTTP 403 AccessDenied | `infra/minio/attachments-policy.json`, `REPORT.md` |
|
||||
| Приватное S3-хранилище | Анонимный запрос списка объектов бакета | HTTP 403 AccessDenied; прямой анонимный GET оригинала также должен быть запрещён | `infra/minio/attachments-policy.json`, `REPORT.md` |
|
||||
| Ограниченные права приложения | Запрос политики бакета от имени S3-приложения | HTTP 403 AccessDenied | `infra/minio/attachments-policy.json`, `REPORT.md` |
|
||||
| Идемпотентный bootstrap | Повторный `docker compose run --rm s3-init` | Успешное выполнение, существующие объекты сохранены | `infra/minio/init.sh`, `REPORT.md` |
|
||||
| Повторные миграции | `docker compose run --rm migrate` | Успешно; схема на head | `migrations/versions/`, `REPORT.md` |
|
||||
@@ -269,7 +271,7 @@ PostgreSQL и MinIO не участвуют в общей распределён
|
||||
| MinIO | 1 | 512 МиБ |
|
||||
| Nginx | 0,5 | 256 МиБ |
|
||||
|
||||
Модель процессора хост-машины, выделенная память WSL2 и показатели CPU во время нагрузочного теста отдельно не фиксировались.
|
||||
Модель процессора хост-машины, выделенная память WSL2, показатели CPU во время нагрузочного теста и отдельная длительность прогрева не фиксировались. Эксперименты выполнялись в локальном учебном окружении; независимая проверка запуска на другом хосте не проводилась.
|
||||
|
||||
### Нагрузочный тест API
|
||||
|
||||
@@ -379,7 +381,9 @@ max_ms: 46.378
|
||||
|
||||
7. **Профиль reconciliation ограничен двумя размерами набора.** Для оценки масштабируемости нужны дополнительные точки, большие объёмы данных и повторения на разных состояниях хранилища.
|
||||
|
||||
8. **Не реализованы распределённые блокировки и фоновое расписание reconciliation.** Утилита запускается оператором. Для производственного применения целесообразны планировщик, аудит удалений, метрики, оповещения и резервное копирование.
|
||||
8. **Локальные секреты создаются с правами `644`.** Каталог `secrets/` ограничен режимом `700`, однако для многопользовательского хоста требуются более строгие права файлов и согласованная схема доступа контейнеров.
|
||||
|
||||
9. **Не реализованы распределённые блокировки и фоновое расписание reconciliation.** Утилита запускается оператором. Для производственного применения целесообразны планировщик, аудит удалений, метрики, оповещения и резервное копирование.
|
||||
|
||||
## Демонстрация преподавателю
|
||||
|
||||
|
||||
Reference in New Issue
Block a user