Files
mtusi2026lab4/code.md
T

122 lines
6.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
## Первый запуск / чистый clone
```sh
cd mtusi2026lab4
cp .env.example .env
scripts/bootstrap-secrets.sh
# If localhost:8080 is occupied, use an alternate HAProxy port for all following commands.
export APP_PORT=18080
# Проверить итоговую Compose-конфигурацию.
docker compose config --quiet
# Build, PostgreSQL + SeaweedFS bucket bootstrap + миграции + 2 API + HAProxy.
docker compose up -d --build --scale api=2
# Проверить статусы и readiness.
docker compose ps
curl --fail --silent http://localhost:18080/health/ready
```
Миграции запускаются сервисом `migrate` до API. Для ожидания старта:
```sh
until curl --fail --silent http://localhost:18080/health/ready >/dev/null; do sleep 2; done
```
Если порт 8080 свободен, удалите `export APP_PORT=18080` и замените `18080` на `8080` в `BASE_URL` и `curl`.
Bucket приватный; порты API, PostgreSQL и S3 API не опубликованы. `s3-bootstrap` использует admin S3 identity только для создания bucket, а API получает credentials с действиями Read/Write/List только для `messenger-attachments`.
## Статические и локальные проверки
```sh
make check
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
# Обязательный public smoke; сервер должен быть поднят.
make test BASE_URL=http://localhost:18080
# 12 одновременных одинаковых POST через две API-реплики должны создать одно сообщение.
.venv/bin/python student-tests/test_idempotency_race.py --base-url http://localhost:18080
# Негативные проверки вложений, без дополнительных зависимостей в тестовом клиенте.
make test-attachments BASE_URL=http://localhost:18080
# Детерминированные unit checks для решений reconciler (без реальных изменений хранилищ).
make test-reconcile PYTHON=.venv/bin/python
# Интеграционный Track 2: повреждает только тестовые данные; ждёт grace period 60 секунд.
make test-reconcile-integration BASE_URL=http://localhost:18080
```
Публичные сценарии создают пользователей/чаты/сообщения и не удаляют их. Повторять на учебном стенде; не использовать производственные данные.
## Сохранность, отказ API и параллельная загрузка
```sh
chmod +x scripts/restart.sh scripts/stop-one.sh
# Restart API, PostgreSQL и SeaweedFS с сохранением volumes и прежней сессии.
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:18080
# Нужны минимум 2 API. Тест останавливает одну реплику; после теста восстановить:
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:18080
docker compose up -d --scale api=2 api
# 10 одновременных 1400×1400 PNG; sampler выводит baseline/peak/delta памяти API.
make test-upload-concurrency BASE_URL=http://localhost:18080
```
Публичные и собственные тесты не очищают данные. Persistence hook не удаляет volumes. Failover hook оставляет выбранную API-реплику остановленной до явного `docker compose up -d --scale api=2 api`.
## Track 2: reconciliation
Read-only scan:
```sh
docker compose exec -T api python3 src/reconcile.py
```
Удаление только stale orphan objects (по умолчанию возраст не менее 3600 секунд; минимально разрешено 60):
```sh
docker compose exec -T api python3 src/reconcile.py --grace-seconds 3600 --apply
```
Восстановление отсутствующего S3 object разрешается только из доверенной копии exact original. Имя файла — UUID attachment, содержимое должно совпасть с записанными размером и SHA-256. Сначала проверить кандидатов (без `--apply`), затем применить:
```sh
docker compose exec -T api python3 src/reconcile.py --restore-dir /path/visible/in/api
docker compose exec -T api python3 src/reconcile.py --restore-dir /path/visible/in/api --apply
```
Каталог восстановления должен быть доступен внутри API-контейнера и содержать только намеренно выбранные файлы. Путь можно смонтировать в API на время стендового эксперимента; не включать backup originals в Git. Если точной копии нет, metadata сохраняется и записывается incident для оператора.
Каждый запуск выводит JSON с `objects_seen`, `metadata_seen`, количеством orphan/missing/restored objects и `duration_ms`. Сохранить JSON для нескольких размеров dataset и указать CPU/RAM и версии в `REPORT.md`; dry-run использовать до каждого `--apply`.
## Нагрузка сообщений
```sh
make load BASE_URL=http://localhost:18080
# Или задать duration/concurrency/output согласно tests/load.py:
python3 tests/load.py --base-url http://localhost:18080 --duration 30 --concurrency 4 --output evidence/load.json
```
## Bucket / Compose lifecycle
```sh
# Идемпотентно проверить создание приватного bucket без сброса данных.
docker compose up -d s3-bootstrap
# Безопасная остановка, persistent volumes остаются:
docker compose down
# Намеренно удалить учебную БД и оригиналы (не выполнять для проверки persistence):
docker compose down --volumes
```
После `down --volumes` секреты остаются в локальном `secrets/` и подходят для нового чистого стенда. Не удалять папку secrets рекурсивно и не коммитить файлы из неё.