Files
mtusi2026lab5/code.md
T

5.6 KiB

Запуск и проверка лабораторной 5

Подготовка стенда

Нужны Docker Compose v2 и доступный Docker daemon. Все команды выполняются из корня репозитория.

cp .env.example .env
scripts/bootstrap-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build

Секреты создаются локально в secrets/ с правами владельца и не выводятся в терминал. Не добавляйте .env или secrets/ в Git. Compose поднимает PostgreSQL, RabbitMQ, SeaweedFS, миграции, API, publisher, worker, периодический reconciler и HAProxy.

Дождитесь готовности API и проверьте состояние сервисов:

until curl --fail --silent http://localhost:8080/health/ready >/dev/null; do sleep 2; done
docker compose ps
curl --fail --silent http://localhost:8080/health/ready

Если порт 8080 занят, поменяйте APP_PORT в локальном .env (например, на 18080) и используйте этот порт во всех командах ниже.

Проверки кода

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check PYTHON=.venv/bin/python
make validate PYTHON=.venv/bin/python
make test-worker PYTHON=.venv/bin/python
make test-reconcile PYTHON=.venv/bin/python
make test-pipeline-faults PYTHON=.venv/bin/python

test-pipeline-faults исполняет fault injection для дубля, reorder, падения после claim и после записи оригинала, потери ack, гонки старой/новой версии, остановки publisher до publish, потери publisher confirm и hard timeout обработки. Санитизированный JSON создаётся в evidence/pipeline-faults.json.

API и интеграционные проверки

Стенд должен быть запущен. Тесты создают синтетические данные и не удаляют их; используйте учебный стенд.

make test BASE_URL=http://localhost:8080
make test-attachments BASE_URL=http://localhost:8080
make test-idempotency-race BASE_URL=http://localhost:8080
make test-reconcile-integration BASE_URL=http://localhost:8080
make test-upload-concurrency BASE_URL=http://localhost:8080
make load BASE_URL=http://localhost:8080
# Exact 30-second/4-client benchmark, saving sanitized metrics:
.venv/bin/python tests/load.py --base-url http://localhost:8080 \
  --duration 30 --concurrency 4 --output evidence/load.json

Для проверок уровня 4/5:

# Подтверждённая API загрузка при остановленном publisher должна дойти до ready после его старта.
make test-outbox-recovery BASE_URL=http://localhost:8080

# Upload/message при остановленном worker; restart API и worker, затем ready и download.
make test-worker-recovery BASE_URL=http://localhost:8080

# Готовое вложение переобрабатывается pipeline v2 с новой версией job.
make test-pipeline-replay BASE_URL=http://localhost:8080

Pipeline v1 использует JPEG quality 85 и WebP quality 80; v2 — JPEG quality 80 и WebP quality 75. Геометрия вариантов остаётся фиксированной контрактом. При replay job_id меняется, попытки начинаются заново, версии вариантов получают разные S3-prefix (variants/<attachment-id>/vN/), а событие записывается в PostgreSQL. В рабочем контейнере явный replay выполняется так:

docker compose exec --index 1 -T api python3 -m src.replay_attachment \
  --attachment-id "$ATTACHMENT_ID" --pipeline-version 2

Перед запуском задайте ATTACHMENT_ID равным UUID существующего вложения из ответа API. Для повторной попытки failed-вложения укажите его текущую версию; переход на уже опубликованную версию разрешён только для failed, повышение версии supersede-ит старую активную задачу.

Отказ и сохранность

chmod +x scripts/restart.sh scripts/stop-one.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
docker compose up -d --scale api=2 api

Сценарий failover оставляет выбранный API-контейнер остановленным; последняя команда возвращает две реплики. Restart hook перезапускает PostgreSQL, SeaweedFS, RabbitMQ, API, publisher и worker без удаления volumes.

Диагностика и остановка

docker compose logs -f api publisher worker rabbitmq reconciler
docker compose down

docker compose down сохраняет named volumes. Для намеренного удаления тестовой БД, очереди и S3-файлов:

docker compose down --volumes

Эту команду выполняйте только если данные стенда больше не нужны.