Files
mtusi2026lab5/DEMO.md

18 KiB
Raw Permalink Blame History

Демонстрация лабораторной 5 на защите

Сценарий повторяет «Сценарий защиты» из README: smoke → worker остановлен (409, сообщения работают) → рестарт API и брокера с volumes → worker запущен → ready. Затем отказы уровня 4 (crash после side effect до ack, разрыв COMMIT/publish, replay failed) и трек 2.

Важно:

  • Все команды выполняются по порядку в одном окне терминала из корня репозитория: переменные B, TA, TB, TE, CHAT, ATT и функции j, pg, ops, st, wt, ev, up живут только в нём.
  • Копируйте блоки целиком. В строках команд нет комментариев #: интерактивный zsh не считает их комментариями.
  • Для шагов с отказами в .env должно быть FAULT_INJECTION=1.
  • rabbitmqctl list_queues показывает счётчики с задержкой в несколько секунд; точные числа даёт make stats (опрашивает брокер напрямую).

0. Запуск стенда

cd ~/Desktop/вуз/ВНП/lab5/mtusi2026lab5
./scripts/init-secrets.sh && ls secrets/
grep -E '^(APP_PORT|FAULT_INJECTION|WORKER_REPLICAS)=' .env
docker compose --env-file .env config --quiet && docker compose --env-file .env up -d --build --wait
docker compose ps -a --format 'table {{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}'

Сказать: «Наружу опубликован только lb на 127.0.0.1:8080 и UI RabbitMQ на loopback. api ×2, relay и worker — отдельные процессы. migrate и s3-init — one-shot, завершились с кодом 0. Брокер — RabbitMQ 4.1 с volume rabbitmqdata».

docker compose exec rabbitmq rabbitmqctl list_queues name type durable messages consumers

«attachments.process — quorum queue (Raft-лог на диске), durable, один consumer — worker. attachments.dlq — очередь для сообщений, которые нельзя обработать».

Вспомогательные переменные и функции (один раз):

B=http://127.0.0.1:8080
j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
ops() { docker compose exec -T ops python -m app.ops "$@"; }
st() { curl -s $B/api/v1/attachments/$1 -H "Authorization: Bearer $TB" | python3 -c 'import sys,json;d=json.load(sys.stdin);print(d["status"],d["error_code"],[(v["name"],v["width"],v["height"]) for v in d["variants"]])'; }
wt() { for i in $(seq 1 120); do s=$(st $1); case "$s" in ready*|failed*) echo "$s"; return;; esac; sleep 1; done; echo "timeout: $s"; }
ev() { ops inspect $1 | python3 -c 'import sys,json;d=json.load(sys.stdin);[print(" ",e["event"],"attempt=%s"%e["attempt"],e["actor"],e["detail"] or "") for e in d["events"]];print("jobs:",[(x["pipeline_version"],x["status"],"attempt=%s"%x["attempt"]) for x in d["jobs"]]);print("s3:",d["s3_final_keys"]);print("staging:",d["s3_staging_keys"])'; }
up() { curl -s -X POST "$B/api/v1/chats/$CHAT/attachments?filename=$2" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @$1 | j id; }

1. Публичный smoke

make test BASE_URL=$B
make stats

«Smoke: 202 queued → опрос до ready → оригинал побайтно → настоящий JPEG 256×160 (тест читает размеры из байтов JPEG, а не из JSON). stats — задания по статусам, неопубликованный outbox, глубина очереди и DLQ».

2. Пользователи, чат и одна загрузка «вживую»

mkuser() { curl -s -X POST $B/api/v1/users -H 'Content-Type: application/json' -d "{\"username\":\"$1_$RANDOM\",\"display_name\":\"$1\",\"password\":\"Demo-password-123\"}"; }
login() { curl -s -X POST $B/api/v1/auth/sessions -u "$1:Demo-password-123" | j token; }
UA=$(mkuser alice); UB=$(mkuser bob); UE=$(mkuser eve)
A=$(echo "$UA" | j id); Bo=$(echo "$UB" | j id)
TA=$(login $(echo "$UA" | j username)); TB=$(login $(echo "$UB" | j username)); TE=$(login $(echo "$UE" | j username))
CHAT=$(curl -s -X POST $B/api/v1/chats -H "Authorization: Bearer $TA" -H 'Content-Type: application/json' -d "{\"title\":\"Демо\",\"member_ids\":[\"$A\",\"$Bo\"]}" | j id); echo "$CHAT"
curl -s -i -X POST "$B/api/v1/chats/$CHAT/attachments?filename=sample.png" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @tests/fixtures/sample.png | tee /tmp/att.txt | sed -n '1p;$p'
ATT=$(tail -1 /tmp/att.txt | j id)

«Ответ 202, status=queued, variants=[]. 202 отправляется только после того, как полный оригинал лёг в staging/ в S3 (S3 сам сверил SHA-256) и одной транзакцией зафиксированы вложение, задание и строка outbox».

wt $ATT
ev $ATT

«События: accepted (API) → claimed attempt=1 (worker взял аренду) → ready. В S3 ровно 4 ключа: оригинал и три варианта по детерминированным ключам v1/…. Staging уже удалён — только после COMMIT».

curl -s "$B/api/v1/attachments/$ATT/content?variant=thumbnail" -H "Authorization: Bearer $TB" -o /tmp/thumb.jpg && python3 -c 'import sys;sys.path.insert(0,"tests");from image_probe import jpeg_size;print("thumbnail JPEG:",jpeg_size(open("/tmp/thumb.jpg","rb").read()))'
curl -s $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB" | shasum -a 256; shasum -a 256 tests/fixtures/sample.png
for s in "" /content "/content?variant=thumbnail"; do curl -s -o /dev/null -w "eve $s -> %{http_code}\n" "$B/api/v1/attachments/$ATT$s" -H "Authorization: Bearer $TE"; done

«Оригинал побайтно совпадает, thumbnail действительно 256×160. Посторонний получает 404 на всё».

3. Уровень 3: worker остановлен → рестарт API и брокера → worker запущен

./scripts/stop-worker.sh
ATT=$(up tests/fixtures/sample.png worker-down.png); echo "$ATT"; st $ATT
curl -s -o /dev/null -w "content while queued -> %{http_code}\n" $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB"
curl -s -o /dev/null -w "message with queued attachment -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
curl -s -o /dev/null -w "plain message -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d '{"text":"сообщения работают без worker"}'

«Upload принят (202), content — 409 (ещё не готово), сообщение с queued-вложением и обычное сообщение — 201. API не делает resize сам: обработка ждёт worker».

make stats

«queue_ready_messages=1, queue_consumers=0: сообщение ждёт в очереди, потребителей нет».

docker compose restart rabbitmq && docker compose up -d --wait --no-build rabbitmq relay
make stats

«Сообщение пережило рестарт брокера: quorum queue + persistent-сообщение + volume».

docker compose restart api && docker compose up -d --wait --no-build api lb && st $ATT

«API перезапущен — задание не потерялось, вложение всё ещё queued: всё состояние в PostgreSQL и S3, у API нет локального состояния».

./scripts/start-worker.sh && wt $ATT
ev $ATT

«Worker запущен — то же самое вложение стало ready. ID и порядок действий видны в событиях».

4. Уровень 4: разрыв COMMIT → publish (transactional outbox)

docker compose stop relay
ATT=$(up tests/fixtures/sample.png outbox.png); echo "$ATT"; sleep 2; st $ATT
pg "SELECT o.id, o.payload->>'attempt' AS attempt, o.published_at, o.publish_count FROM outbox o JOIN jobs j USING (job_id) WHERE j.attachment_id='$ATT'"

«Транзакция зафиксирована, а публикации нет — именно окно «после COMMIT до publish». Намерение не потерялось: оно лежит в outbox».

docker compose up -d --wait --no-build relay && wt $ATT

«Relay поднялся, опубликовал строку с ожиданием publisher confirm, отметил published_at — задача дошла до ready без ручного создания задания».

5. Уровень 4: crash worker после записи в S3, до COMMIT/ack

ops fault arm worker.after_s3_before_commit crash
ATT=$(up tests/fixtures/sample.png crash.png); echo "$ATT"; sleep 3; docker compose ps worker

«Worker записал объекты в S3 и умер (os._exit(137), как SIGKILL) до COMMIT. Docker его перезапустил. Сообщение без ack вернулось в очередь».

wt $ATT
ev $ATT

«Redelivery увидела активную аренду мёртвого владельца → lease_held_noop (новый процесс не может знать, что старый умер). Через 20 с аренда истекла → lease_expired → retry → claimed attempt=2 → ready. В S3 по-прежнему ровно 4 ключа: вторая попытка перезаписала те же ключи эффекта, второго набора нет».

ops fault arm worker.after_commit_before_ack crash
ATT=$(up tests/fixtures/sample.png crash-ack.png); wt $ATT; sleep 4; ev $ATT

«Здесь worker умер уже после COMMIT, но до ack. Повторная доставка видит done → duplicate_noop и ack. Попытка одна».

6. Уровень 4: backoff + jitter, failed, реестр, replay

ops fault arm worker.before_transform transient --count 5
ATT=$(up tests/fixtures/sample.png retry.png); echo "$ATT"; wt $ATT
ev $ATT

«5 временных ошибок: паузы растут по окнам [1,2], [2,4], [4,8], [8,16] с (видно в retry_scheduled). После 5-й попытки — failed / retry_exhausted, без бесконечного ретрая».

make failed
ops replay $ATT --actor koshelev && wt $ATT
ops replay $ATT --actor koshelev; echo "exit code $?"

«Replay — явная команда оператора с аудитом (событие replay, автор). Тот же job_id и тот же ключ эффекта. Для уже готового вложения replay отклоняется (код 3) — «повторить» не значит исполнить дубль успешной работы».

Постоянная ошибка — без повторов:

python3 -c 'import sys;sys.path.insert(0,"student-tests");from stack import corrupt_png;open("/tmp/broken.png","wb").write(corrupt_png())'
ATT=$(up /tmp/broken.png broken.png); wt $ATT
curl -s -o /dev/null -w "attach failed -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"

«Заголовок и CRC корректны, поэтому API принял файл (202). Сломанные сжатые данные выявил только worker → failed / invalid_image с первой попытки, без ретраев. Прикрепить failed-вложение — 409».

7. Трек 2: дубли и версии

ATT=$(up tests/fixtures/sample.png track2.png); wt $ATT
ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; sleep 2; ev $ATT

«Три сырых дубля в обход outbox → три duplicate_noop. Ни одна строка и ни один объект не изменились».

ops reprocess $ATT --pipeline-version 2; sleep 3; st $ATT; ev $ATT

«Новая версия pipeline: отдельная job v2 и ключи v2/…. Во время перерасчёта вложение оставалось ready со старыми вариантами, переключение — атомарный COMMIT».

ops republish $ATT --pipeline-version 1 --attempt 1; sleep 2; ev $ATT | tail -5
ops reprocess $ATT --pipeline-version 1; echo "exit code $?"

«Устаревшее v1-сообщение после v2 — no-op; даунгрейд отклонён. Результат старой версии не может перезаписать новый: проверка версии внутри COMMIT и разные ключи S3».

Сложные гонки (reorder и «v1 медленная, v2 фиксируется первой») — автоматически, ~40 с:

python3 student-tests/faults_test.py --only reorder,stale_version_race,poison_message

Полный набор из 14 сценариев с инвариантами I1–I5 (~5 минут; результат прошлого прогона — в evidence/faults.txt):

make test-faults

8. Лимиты, persistence, failover, очистка

make test-pipeline
make test-limits
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
make sweep-dry-run

«Лимиты: при RLIMIT_AS 160 MiB → image_too_large за одну попытку; при тайм-ауте 0.3 с дочерний процесс убивается → retry_exhausted. Persistence перезапускает API, worker, relay и все хранилища, включая RabbitMQ, с теми же volumes. Sweeper в dry-run показывает, что удалил бы, и никогда не трогает queued/processing».

9. Остановка

ops fault clear
docker compose stop

«stop сохраняет volumes. Удаление учебных данных — только осознанно: docker compose down -v».


Ответы на вопросы защиты

Чем publisher confirm отличается от consumer ack? Confirm (basic.ack от брокера издателю) — брокер принял сообщение и записал его в quorum queue; после него relay ставит published_at. Consumer ack (от worker брокеру) — потребитель закончил обработку, брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы: producer → broker и broker → consumer.

Что сохранено в момент 202? Полный оригинал в staging/<id> (S3 проверил SHA-256), строка attachments(queued) с размером, SHA-256 и ключами, jobs(queued) и строка outbox — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox.

Почему повторная доставка нормальна и где ключ идемпотентности? At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — (attachment_id, pipeline_version, variant): это и ключи S3, и PK attachment_variants. Логическая работа — jobs(job_id) с UNIQUE (attachment_id, pipeline_version), попытка — (job_id, attempt). Worker стартует попытку только из queued с attempt+1, всё остальное — no-op с ack.

Как отличить зависший worker от долго работающего? Живой worker продлевает аренду heartbeat'ом каждые 5 с (аренда 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее преобразование убивается по JOB_TIMEOUT_SECONDS в дочернем процессе. Умерший worker перестаёт продлевать аренду — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его (lease_owner, attempt) → fenced_out. Поэтому двух неконтролируемых зафиксированных результатов быть не может.