forked from mtusi2026/mtusi2026lab5
104 lines
5.6 KiB
Markdown
104 lines
5.6 KiB
Markdown
# Запуск и проверка лабораторной 5
|
|
|
|
## Подготовка стенда
|
|
|
|
Нужны Docker Compose v2 и доступный Docker daemon. Все команды выполняются из корня репозитория.
|
|
|
|
```sh
|
|
cp .env.example .env
|
|
scripts/bootstrap-secrets.sh
|
|
docker compose --env-file .env config --quiet
|
|
docker compose --env-file .env up -d --build
|
|
```
|
|
|
|
Секреты создаются локально в `secrets/` с правами владельца и не выводятся в терминал. Не добавляйте `.env` или `secrets/` в Git. Compose поднимает PostgreSQL, RabbitMQ, SeaweedFS, миграции, API, publisher, worker, периодический reconciler и HAProxy.
|
|
|
|
Дождитесь готовности API и проверьте состояние сервисов:
|
|
|
|
```sh
|
|
until curl --fail --silent http://localhost:8080/health/ready >/dev/null; do sleep 2; done
|
|
docker compose ps
|
|
curl --fail --silent http://localhost:8080/health/ready
|
|
```
|
|
|
|
Если порт `8080` занят, поменяйте `APP_PORT` в локальном `.env` (например, на `18080`) и используйте этот порт во всех командах ниже.
|
|
|
|
## Проверки кода
|
|
|
|
```sh
|
|
python3 -m venv .venv
|
|
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
|
make check PYTHON=.venv/bin/python
|
|
make validate PYTHON=.venv/bin/python
|
|
make test-worker PYTHON=.venv/bin/python
|
|
make test-reconcile PYTHON=.venv/bin/python
|
|
make test-pipeline-faults PYTHON=.venv/bin/python
|
|
```
|
|
|
|
`test-pipeline-faults` исполняет fault injection для дубля, reorder, падения после claim и после записи оригинала, потери ack, гонки старой/новой версии, остановки publisher до publish, потери publisher confirm и hard timeout обработки. Санитизированный JSON создаётся в `evidence/pipeline-faults.json`.
|
|
|
|
## API и интеграционные проверки
|
|
|
|
Стенд должен быть запущен. Тесты создают синтетические данные и не удаляют их; используйте учебный стенд.
|
|
|
|
```sh
|
|
make test BASE_URL=http://localhost:8080
|
|
make test-attachments BASE_URL=http://localhost:8080
|
|
make test-idempotency-race BASE_URL=http://localhost:8080
|
|
make test-reconcile-integration BASE_URL=http://localhost:8080
|
|
make test-upload-concurrency BASE_URL=http://localhost:8080
|
|
make load BASE_URL=http://localhost:8080
|
|
# Exact 30-second/4-client benchmark, saving sanitized metrics:
|
|
.venv/bin/python tests/load.py --base-url http://localhost:8080 \
|
|
--duration 30 --concurrency 4 --output evidence/load.json
|
|
```
|
|
|
|
Для проверок уровня 4/5:
|
|
|
|
```sh
|
|
# Подтверждённая API загрузка при остановленном publisher должна дойти до ready после его старта.
|
|
make test-outbox-recovery BASE_URL=http://localhost:8080
|
|
|
|
# Upload/message при остановленном worker; restart API и worker, затем ready и download.
|
|
make test-worker-recovery BASE_URL=http://localhost:8080
|
|
|
|
# Готовое вложение переобрабатывается pipeline v2 с новой версией job.
|
|
make test-pipeline-replay BASE_URL=http://localhost:8080
|
|
```
|
|
|
|
Pipeline v1 использует JPEG quality 85 и WebP quality 80; v2 — JPEG quality 80 и WebP quality 75. Геометрия вариантов остаётся фиксированной контрактом. При replay `job_id` меняется, попытки начинаются заново, версии вариантов получают разные S3-prefix (`variants/<attachment-id>/vN/`), а событие записывается в PostgreSQL. В рабочем контейнере явный replay выполняется так:
|
|
|
|
```sh
|
|
docker compose exec --index 1 -T api python3 -m src.replay_attachment \
|
|
--attachment-id "$ATTACHMENT_ID" --pipeline-version 2
|
|
```
|
|
|
|
Перед запуском задайте `ATTACHMENT_ID` равным UUID существующего вложения из ответа API.
|
|
Для повторной попытки failed-вложения укажите его текущую версию; переход на уже опубликованную версию разрешён только для failed, повышение версии supersede-ит старую активную задачу.
|
|
|
|
## Отказ и сохранность
|
|
|
|
```sh
|
|
chmod +x scripts/restart.sh scripts/stop-one.sh
|
|
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
|
|
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
|
|
docker compose up -d --scale api=2 api
|
|
```
|
|
|
|
Сценарий failover оставляет выбранный API-контейнер остановленным; последняя команда возвращает две реплики. Restart hook перезапускает PostgreSQL, SeaweedFS, RabbitMQ, API, publisher и worker без удаления volumes.
|
|
|
|
## Диагностика и остановка
|
|
|
|
```sh
|
|
docker compose logs -f api publisher worker rabbitmq reconciler
|
|
docker compose down
|
|
```
|
|
|
|
`docker compose down` сохраняет named volumes. Для намеренного удаления тестовой БД, очереди и S3-файлов:
|
|
|
|
```sh
|
|
docker compose down --volumes
|
|
```
|
|
|
|
Эту команду выполняйте только если данные стенда больше не нужны.
|