18 KiB
Демонстрация лабораторной 5 на защите
Сценарий повторяет «Сценарий защиты» из README: smoke → worker остановлен (409, сообщения работают) → рестарт API и брокера с volumes → worker запущен → ready. Затем отказы уровня 4 (crash после side effect до ack, разрыв COMMIT/publish, replay failed) и трек 2.
Важно:
- Все команды выполняются по порядку в одном окне терминала из корня репозитория: переменные
B,TA,TB,TE,CHAT,ATTи функцииj,pg,ops,st,wt,ev,upживут только в нём. - Копируйте блоки целиком. В строках команд нет комментариев
#: интерактивный zsh не считает их комментариями. - Для шагов с отказами в
.envдолжно бытьFAULT_INJECTION=1. rabbitmqctl list_queuesпоказывает счётчики с задержкой в несколько секунд; точные числа даётmake stats(опрашивает брокер напрямую).
0. Запуск стенда
cd ~/Desktop/вуз/ВНП/lab5/mtusi2026lab5
./scripts/init-secrets.sh && ls secrets/
grep -E '^(APP_PORT|FAULT_INJECTION|WORKER_REPLICAS)=' .env
docker compose --env-file .env config --quiet && docker compose --env-file .env up -d --build --wait
docker compose ps -a --format 'table {{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}'
Сказать: «Наружу опубликован только
lbна 127.0.0.1:8080 и UI RabbitMQ на loopback.api×2,relayиworker— отдельные процессы.migrateиs3-init— one-shot, завершились с кодом 0. Брокер — RabbitMQ 4.1 с volumerabbitmqdata».
docker compose exec rabbitmq rabbitmqctl list_queues name type durable messages consumers
«
attachments.process— quorum queue (Raft-лог на диске), durable, один consumer — worker.attachments.dlq— очередь для сообщений, которые нельзя обработать».
Вспомогательные переменные и функции (один раз):
B=http://127.0.0.1:8080
j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
ops() { docker compose exec -T ops python -m app.ops "$@"; }
st() { curl -s $B/api/v1/attachments/$1 -H "Authorization: Bearer $TB" | python3 -c 'import sys,json;d=json.load(sys.stdin);print(d["status"],d["error_code"],[(v["name"],v["width"],v["height"]) for v in d["variants"]])'; }
wt() { for i in $(seq 1 120); do s=$(st $1); case "$s" in ready*|failed*) echo "$s"; return;; esac; sleep 1; done; echo "timeout: $s"; }
ev() { ops inspect $1 | python3 -c 'import sys,json;d=json.load(sys.stdin);[print(" ",e["event"],"attempt=%s"%e["attempt"],e["actor"],e["detail"] or "") for e in d["events"]];print("jobs:",[(x["pipeline_version"],x["status"],"attempt=%s"%x["attempt"]) for x in d["jobs"]]);print("s3:",d["s3_final_keys"]);print("staging:",d["s3_staging_keys"])'; }
up() { curl -s -X POST "$B/api/v1/chats/$CHAT/attachments?filename=$2" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @$1 | j id; }
1. Публичный smoke
make test BASE_URL=$B
make stats
«Smoke: 202 queued → опрос до ready → оригинал побайтно → настоящий JPEG 256×160 (тест читает размеры из байтов JPEG, а не из JSON).
stats— задания по статусам, неопубликованный outbox, глубина очереди и DLQ».
2. Пользователи, чат и одна загрузка «вживую»
mkuser() { curl -s -X POST $B/api/v1/users -H 'Content-Type: application/json' -d "{\"username\":\"$1_$RANDOM\",\"display_name\":\"$1\",\"password\":\"Demo-password-123\"}"; }
login() { curl -s -X POST $B/api/v1/auth/sessions -u "$1:Demo-password-123" | j token; }
UA=$(mkuser alice); UB=$(mkuser bob); UE=$(mkuser eve)
A=$(echo "$UA" | j id); Bo=$(echo "$UB" | j id)
TA=$(login $(echo "$UA" | j username)); TB=$(login $(echo "$UB" | j username)); TE=$(login $(echo "$UE" | j username))
CHAT=$(curl -s -X POST $B/api/v1/chats -H "Authorization: Bearer $TA" -H 'Content-Type: application/json' -d "{\"title\":\"Демо\",\"member_ids\":[\"$A\",\"$Bo\"]}" | j id); echo "$CHAT"
curl -s -i -X POST "$B/api/v1/chats/$CHAT/attachments?filename=sample.png" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @tests/fixtures/sample.png | tee /tmp/att.txt | sed -n '1p;$p'
ATT=$(tail -1 /tmp/att.txt | j id)
«Ответ 202,
status=queued,variants=[]. 202 отправляется только после того, как полный оригинал лёг вstaging/в S3 (S3 сам сверил SHA-256) и одной транзакцией зафиксированы вложение, задание и строка outbox».
wt $ATT
ev $ATT
«События:
accepted(API) →claimed attempt=1(worker взял аренду) →ready. В S3 ровно 4 ключа: оригинал и три варианта по детерминированным ключамv1/…. Staging уже удалён — только после COMMIT».
curl -s "$B/api/v1/attachments/$ATT/content?variant=thumbnail" -H "Authorization: Bearer $TB" -o /tmp/thumb.jpg && python3 -c 'import sys;sys.path.insert(0,"tests");from image_probe import jpeg_size;print("thumbnail JPEG:",jpeg_size(open("/tmp/thumb.jpg","rb").read()))'
curl -s $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB" | shasum -a 256; shasum -a 256 tests/fixtures/sample.png
for s in "" /content "/content?variant=thumbnail"; do curl -s -o /dev/null -w "eve $s -> %{http_code}\n" "$B/api/v1/attachments/$ATT$s" -H "Authorization: Bearer $TE"; done
«Оригинал побайтно совпадает, thumbnail действительно 256×160. Посторонний получает 404 на всё».
3. Уровень 3: worker остановлен → рестарт API и брокера → worker запущен
./scripts/stop-worker.sh
ATT=$(up tests/fixtures/sample.png worker-down.png); echo "$ATT"; st $ATT
curl -s -o /dev/null -w "content while queued -> %{http_code}\n" $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB"
curl -s -o /dev/null -w "message with queued attachment -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
curl -s -o /dev/null -w "plain message -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d '{"text":"сообщения работают без worker"}'
«Upload принят (202), content — 409 (ещё не готово), сообщение с queued-вложением и обычное сообщение — 201. API не делает resize сам: обработка ждёт worker».
make stats
«
queue_ready_messages=1,queue_consumers=0: сообщение ждёт в очереди, потребителей нет».
docker compose restart rabbitmq && docker compose up -d --wait --no-build rabbitmq relay
make stats
«Сообщение пережило рестарт брокера: quorum queue + persistent-сообщение + volume».
docker compose restart api && docker compose up -d --wait --no-build api lb && st $ATT
«API перезапущен — задание не потерялось, вложение всё ещё
queued: всё состояние в PostgreSQL и S3, у API нет локального состояния».
./scripts/start-worker.sh && wt $ATT
ev $ATT
«Worker запущен — то же самое вложение стало ready. ID и порядок действий видны в событиях».
4. Уровень 4: разрыв COMMIT → publish (transactional outbox)
docker compose stop relay
ATT=$(up tests/fixtures/sample.png outbox.png); echo "$ATT"; sleep 2; st $ATT
pg "SELECT o.id, o.payload->>'attempt' AS attempt, o.published_at, o.publish_count FROM outbox o JOIN jobs j USING (job_id) WHERE j.attachment_id='$ATT'"
«Транзакция зафиксирована, а публикации нет — именно окно «после COMMIT до publish». Намерение не потерялось: оно лежит в outbox».
docker compose up -d --wait --no-build relay && wt $ATT
«Relay поднялся, опубликовал строку с ожиданием publisher confirm, отметил
published_at— задача дошла до ready без ручного создания задания».
5. Уровень 4: crash worker после записи в S3, до COMMIT/ack
ops fault arm worker.after_s3_before_commit crash
ATT=$(up tests/fixtures/sample.png crash.png); echo "$ATT"; sleep 3; docker compose ps worker
«Worker записал объекты в S3 и умер (
os._exit(137), как SIGKILL) до COMMIT. Docker его перезапустил. Сообщение без ack вернулось в очередь».
wt $ATT
ev $ATT
«Redelivery увидела активную аренду мёртвого владельца →
lease_held_noop(новый процесс не может знать, что старый умер). Через 20 с аренда истекла →lease_expired→ retry →claimed attempt=2→ready. В S3 по-прежнему ровно 4 ключа: вторая попытка перезаписала те же ключи эффекта, второго набора нет».
ops fault arm worker.after_commit_before_ack crash
ATT=$(up tests/fixtures/sample.png crash-ack.png); wt $ATT; sleep 4; ev $ATT
«Здесь worker умер уже после COMMIT, но до ack. Повторная доставка видит
done→duplicate_noopи ack. Попытка одна».
6. Уровень 4: backoff + jitter, failed, реестр, replay
ops fault arm worker.before_transform transient --count 5
ATT=$(up tests/fixtures/sample.png retry.png); echo "$ATT"; wt $ATT
ev $ATT
«5 временных ошибок: паузы растут по окнам [1,2], [2,4], [4,8], [8,16] с (видно в
retry_scheduled). После 5-й попытки —failed / retry_exhausted, без бесконечного ретрая».
make failed
ops replay $ATT --actor koshelev && wt $ATT
ops replay $ATT --actor koshelev; echo "exit code $?"
«Replay — явная команда оператора с аудитом (событие
replay, автор). Тот жеjob_idи тот же ключ эффекта. Для уже готового вложения replay отклоняется (код 3) — «повторить» не значит исполнить дубль успешной работы».
Постоянная ошибка — без повторов:
python3 -c 'import sys;sys.path.insert(0,"student-tests");from stack import corrupt_png;open("/tmp/broken.png","wb").write(corrupt_png())'
ATT=$(up /tmp/broken.png broken.png); wt $ATT
curl -s -o /dev/null -w "attach failed -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}"
«Заголовок и CRC корректны, поэтому API принял файл (202). Сломанные сжатые данные выявил только worker →
failed / invalid_imageс первой попытки, без ретраев. Прикрепить failed-вложение — 409».
7. Трек 2: дубли и версии
ATT=$(up tests/fixtures/sample.png track2.png); wt $ATT
ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; sleep 2; ev $ATT
«Три сырых дубля в обход outbox → три
duplicate_noop. Ни одна строка и ни один объект не изменились».
ops reprocess $ATT --pipeline-version 2; sleep 3; st $ATT; ev $ATT
«Новая версия pipeline: отдельная job v2 и ключи
v2/…. Во время перерасчёта вложение оставалось ready со старыми вариантами, переключение — атомарный COMMIT».
ops republish $ATT --pipeline-version 1 --attempt 1; sleep 2; ev $ATT | tail -5
ops reprocess $ATT --pipeline-version 1; echo "exit code $?"
«Устаревшее v1-сообщение после v2 — no-op; даунгрейд отклонён. Результат старой версии не может перезаписать новый: проверка версии внутри COMMIT и разные ключи S3».
Сложные гонки (reorder и «v1 медленная, v2 фиксируется первой») — автоматически, ~40 с:
python3 student-tests/faults_test.py --only reorder,stale_version_race,poison_message
Полный набор из 14 сценариев с инвариантами I1–I5 (~5 минут; результат прошлого прогона — в evidence/faults.txt):
make test-faults
8. Лимиты, persistence, failover, очистка
make test-pipeline
make test-limits
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
make sweep-dry-run
«Лимиты: при RLIMIT_AS 160 MiB →
image_too_largeза одну попытку; при тайм-ауте 0.3 с дочерний процесс убивается →retry_exhausted. Persistence перезапускает API, worker, relay и все хранилища, включая RabbitMQ, с теми же volumes. Sweeper в dry-run показывает, что удалил бы, и никогда не трогает queued/processing».
9. Остановка
ops fault clear
docker compose stop
«
stopсохраняет volumes. Удаление учебных данных — только осознанно:docker compose down -v».
Ответы на вопросы защиты
Чем publisher confirm отличается от consumer ack? Confirm (basic.ack от брокера издателю) — брокер принял сообщение и записал его в quorum queue; после него relay ставит published_at. Consumer ack (от worker брокеру) — потребитель закончил обработку, брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы: producer → broker и broker → consumer.
Что сохранено в момент 202? Полный оригинал в staging/<id> (S3 проверил SHA-256), строка attachments(queued) с размером, SHA-256 и ключами, jobs(queued) и строка outbox — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox.
Почему повторная доставка нормальна и где ключ идемпотентности? At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — (attachment_id, pipeline_version, variant): это и ключи S3, и PK attachment_variants. Логическая работа — jobs(job_id) с UNIQUE (attachment_id, pipeline_version), попытка — (job_id, attempt). Worker стартует попытку только из queued с attempt+1, всё остальное — no-op с ack.
Как отличить зависший worker от долго работающего? Живой worker продлевает аренду heartbeat'ом каждые 5 с (аренда 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее преобразование убивается по JOB_TIMEOUT_SECONDS в дочернем процессе. Умерший worker перестаёт продлевать аренду — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его (lease_owner, attempt) → fenced_out. Поэтому двух неконтролируемых зафиксированных результатов быть не может.