From 616866f115e2c50a0dc3c0a41db7884db1e90e0f Mon Sep 17 00:00:00 2001 From: Ilya <145450507+IIcon18@users.noreply.github.com> Date: Wed, 11 Nov 2026 19:32:39 +0300 Subject: [PATCH] =?UTF-8?q?=D0=92=D1=8B=D0=BF=D0=BE=D0=BB=D0=BD=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B5=20=D0=9B=D0=A05=20=D0=BD=D0=B0=205=20(=D1=82?= =?UTF-8?q?=D1=80=D0=B5=D0=BA=202)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- DEMO.md | 358 +++++++++++++++++++++++++++++++++++++++++++++++++----- REPORT.md | 19 +-- 2 files changed, 337 insertions(+), 40 deletions(-) diff --git a/DEMO.md b/DEMO.md index d656d5d..6d053a9 100644 --- a/DEMO.md +++ b/DEMO.md @@ -1,52 +1,346 @@ -# Сценарий защиты — лабораторная 5 +# Демонстрация лабораторной 5 на защите -Стенд поднят (`make up`, в `.env` `FAULT_INJECTION=1`). Все команды — из корня репозитория. В консоль не выводятся токены и пароли. +Сценарий повторяет «Сценарий защиты» из README: smoke → worker остановлен (409, сообщения работают) → рестарт API и брокера с volumes → worker запущен → ready. Затем отказы уровня 4 (crash после side effect до ack, разрыв COMMIT/publish, replay failed) и трек 2. + +**Важно:** +- Все команды выполняются по порядку **в одном окне терминала** из корня репозитория: переменные `B`, `TA`, `TB`, `TE`, `CHAT`, `ATT` и функции `j`, `pg`, `ops`, `st`, `wt`, `ev`, `up` живут только в нём. +- Копируйте блоки целиком. В строках команд нет комментариев `#`: интерактивный zsh не считает их комментариями. +- Для шагов с отказами в `.env` должно быть `FAULT_INJECTION=1`. +- `rabbitmqctl list_queues` показывает счётчики с задержкой в несколько секунд; точные числа даёт `make stats` (опрашивает брокер напрямую). + +--- + +## 0. Запуск стенда + +```bash +cd ~/Desktop/вуз/ВНП/lab5/mtusi2026lab5 +``` + +```bash +./scripts/init-secrets.sh && ls secrets/ +``` + +```bash +grep -E '^(APP_PORT|FAULT_INJECTION|WORKER_REPLICAS)=' .env +``` + +```bash +docker compose --env-file .env config --quiet && docker compose --env-file .env up -d --build --wait +``` + +```bash +docker compose ps -a --format 'table {{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}' +``` + +> **Сказать:** «Наружу опубликован только `lb` на 127.0.0.1:8080 и UI RabbitMQ на loopback. `api` ×2, `relay` и `worker` — отдельные процессы. `migrate` и `s3-init` — one-shot, завершились с кодом 0. Брокер — RabbitMQ 4.1 с volume `rabbitmqdata`». + +```bash +docker compose exec rabbitmq rabbitmqctl list_queues name type durable messages consumers +``` + +> «`attachments.process` — quorum queue (Raft-лог на диске), durable, один consumer — worker. `attachments.dlq` — очередь для сообщений, которые нельзя обработать». + +Вспомогательные переменные и функции (один раз): + +```bash +B=http://127.0.0.1:8080 +j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; } +pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; } +ops() { docker compose exec -T ops python -m app.ops "$@"; } +st() { curl -s $B/api/v1/attachments/$1 -H "Authorization: Bearer $TB" | python3 -c 'import sys,json;d=json.load(sys.stdin);print(d["status"],d["error_code"],[(v["name"],v["width"],v["height"]) for v in d["variants"]])'; } +wt() { for i in $(seq 1 120); do s=$(st $1); case "$s" in ready*|failed*) echo "$s"; return;; esac; sleep 1; done; echo "timeout: $s"; } +ev() { ops inspect $1 | python3 -c 'import sys,json;d=json.load(sys.stdin);[print(" ",e["event"],"attempt=%s"%e["attempt"],e["actor"],e["detail"] or "") for e in d["events"]];print("jobs:",[(x["pipeline_version"],x["status"],"attempt=%s"%x["attempt"]) for x in d["jobs"]]);print("s3:",d["s3_final_keys"]);print("staging:",d["s3_staging_keys"])'; } +up() { curl -s -X POST "$B/api/v1/chats/$CHAT/attachments?filename=$2" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @$1 | j id; } +``` ## 1. Публичный smoke -```sh -make test # 202 -> ready, оригинал побайтно, настоящий JPEG 256x160 -make stats # jobs по статусам, outbox, глубина очереди, DLQ +```bash +make test BASE_URL=$B ``` -## 2. Worker остановлен: приём продолжается, content = 409 - -```sh -make stop-worker -python3 student-tests/faults_test.py --only worker_down # автоматически: upload 202, сообщение с вложением, - # content 409, другие сообщения 201, рестарт RabbitMQ и API, - # старт worker -> ready (печатает ID вложения и глубину очереди) +```bash +make stats ``` -Вручную, если преподаватель просит «руками»: `make stop-worker` → загрузить `tests/fixtures/sample.png` по `examples/requests.http` → `GET …/content` = 409 → `docker compose restart rabbitmq api` → `make stats` (сообщение в очереди сохранилось) → `make start-worker` → `GET /attachments/{id}` = ready. +> «Smoke: 202 queued → опрос до ready → оригинал побайтно → настоящий JPEG 256×160 (тест читает размеры из байтов JPEG, а не из JSON). `stats` — задания по статусам, неопубликованный outbox, глубина очереди и DLQ». -## 3. Отказы уровня 4 +## 2. Пользователи, чат и одна загрузка «вживую» -```sh -python3 student-tests/faults_test.py --only outbox_gap,relay_crash_after_confirm # разрыв COMMIT/publish -python3 student-tests/faults_test.py --only crash_after_s3,crash_after_commit # crash после side effect до ack -python3 student-tests/faults_test.py --only transient_backoff,exhausted_then_replay # backoff+jitter, failed, replay -python3 student-tests/faults_test.py --only long_running_not_hung # lease + heartbeat -make failed # реестр failed -docker compose exec ops python -m app.ops inspect # история событий, ключи S3 +```bash +mkuser() { curl -s -X POST $B/api/v1/users -H 'Content-Type: application/json' -d "{\"username\":\"$1_$RANDOM\",\"display_name\":\"$1\",\"password\":\"Demo-password-123\"}"; } +login() { curl -s -X POST $B/api/v1/auth/sessions -u "$1:Demo-password-123" | j token; } +UA=$(mkuser alice); UB=$(mkuser bob); UE=$(mkuser eve) +A=$(echo "$UA" | j id); Bo=$(echo "$UB" | j id) +TA=$(login $(echo "$UA" | j username)); TB=$(login $(echo "$UB" | j username)); TE=$(login $(echo "$UE" | j username)) +CHAT=$(curl -s -X POST $B/api/v1/chats -H "Authorization: Bearer $TA" -H 'Content-Type: application/json' -d "{\"title\":\"Демо\",\"member_ids\":[\"$A\",\"$Bo\"]}" | j id); echo "$CHAT" ``` -Ручной replay: `docker compose exec ops python -m app.ops replay --actor <фамилия>`; на ready-вложении команда отвечает `refused` (код 3). - -## 4. Трек 2: идемпотентность - -```sh -python3 student-tests/faults_test.py --only duplicate,reorder,new_version,stale_version_race,poison_message +```bash +curl -s -i -X POST "$B/api/v1/chats/$CHAT/attachments?filename=sample.png" -H "Authorization: Bearer $TA" -H 'Content-Type: image/png' --data-binary @tests/fixtures/sample.png | tee /tmp/att.txt | sed -n '1p;$p' +ATT=$(tail -1 /tmp/att.txt | j id) ``` -Что показать в выводе: `duplicate_noop`, `stale_attempt_noop`, порядок `ready v2` → `superseded v1`, неизменные ключи S3 (инвариант I3). +> «Ответ **202**, `status=queued`, `variants=[]`. 202 отправляется только после того, как полный оригинал лёг в `staging/` в S3 (S3 сам сверил SHA-256) и **одной транзакцией** зафиксированы вложение, задание и строка outbox». + +```bash +wt $ATT +``` + +```bash +ev $ATT +``` + +> «События: `accepted` (API) → `claimed attempt=1` (worker взял аренду) → `ready`. В S3 ровно 4 ключа: оригинал и три варианта по детерминированным ключам `v1/…`. Staging уже удалён — только после COMMIT». + +```bash +curl -s "$B/api/v1/attachments/$ATT/content?variant=thumbnail" -H "Authorization: Bearer $TB" -o /tmp/thumb.jpg && python3 -c 'import sys;sys.path.insert(0,"tests");from image_probe import jpeg_size;print("thumbnail JPEG:",jpeg_size(open("/tmp/thumb.jpg","rb").read()))' +``` + +```bash +curl -s $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB" | shasum -a 256; shasum -a 256 tests/fixtures/sample.png +``` + +```bash +for s in "" /content "/content?variant=thumbnail"; do curl -s -o /dev/null -w "eve $s -> %{http_code}\n" "$B/api/v1/attachments/$ATT$s" -H "Authorization: Bearer $TE"; done +``` + +> «Оригинал побайтно совпадает, thumbnail действительно 256×160. Посторонний получает 404 на всё». + +## 3. Уровень 3: worker остановлен → рестарт API и брокера → worker запущен + +```bash +./scripts/stop-worker.sh +``` + +```bash +ATT=$(up tests/fixtures/sample.png worker-down.png); echo "$ATT"; st $ATT +``` + +```bash +curl -s -o /dev/null -w "content while queued -> %{http_code}\n" $B/api/v1/attachments/$ATT/content -H "Authorization: Bearer $TB" +``` + +```bash +curl -s -o /dev/null -w "message with queued attachment -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}" +curl -s -o /dev/null -w "plain message -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d '{"text":"сообщения работают без worker"}' +``` + +> «Upload принят (202), content — 409 (ещё не готово), сообщение с queued-вложением и обычное сообщение — 201. API не делает resize сам: обработка ждёт worker». + +```bash +make stats +``` + +> «`queue_ready_messages=1`, `queue_consumers=0`: сообщение ждёт в очереди, потребителей нет». + +```bash +docker compose restart rabbitmq && docker compose up -d --wait --no-build rabbitmq relay +``` + +```bash +make stats +``` + +> «Сообщение пережило рестарт брокера: quorum queue + persistent-сообщение + volume». + +```bash +docker compose restart api && docker compose up -d --wait --no-build api lb && st $ATT +``` + +> «API перезапущен — задание не потерялось, вложение всё ещё `queued`: всё состояние в PostgreSQL и S3, у API нет локального состояния». + +```bash +./scripts/start-worker.sh && wt $ATT +``` + +```bash +ev $ATT +``` + +> «Worker запущен — то же самое вложение стало ready. ID и порядок действий видны в событиях». + +## 4. Уровень 4: разрыв COMMIT → publish (transactional outbox) + +```bash +docker compose stop relay +``` + +```bash +ATT=$(up tests/fixtures/sample.png outbox.png); echo "$ATT"; sleep 2; st $ATT +``` + +```bash +pg "SELECT o.id, o.payload->>'attempt' AS attempt, o.published_at, o.publish_count FROM outbox o JOIN jobs j USING (job_id) WHERE j.attachment_id='$ATT'" +``` + +> «Транзакция зафиксирована, а публикации нет — именно окно «после COMMIT до publish». Намерение не потерялось: оно лежит в outbox». + +```bash +docker compose up -d --wait --no-build relay && wt $ATT +``` + +> «Relay поднялся, опубликовал строку с ожиданием publisher confirm, отметил `published_at` — задача дошла до ready без ручного создания задания». + +## 5. Уровень 4: crash worker после записи в S3, до COMMIT/ack + +```bash +ops fault arm worker.after_s3_before_commit crash +``` + +```bash +ATT=$(up tests/fixtures/sample.png crash.png); echo "$ATT"; sleep 3; docker compose ps worker +``` + +> «Worker записал объекты в S3 и умер (`os._exit(137)`, как SIGKILL) до COMMIT. Docker его перезапустил. Сообщение без ack вернулось в очередь». + +```bash +wt $ATT +``` + +```bash +ev $ATT +``` + +> «Redelivery увидела активную аренду мёртвого владельца → `lease_held_noop` (новый процесс не может знать, что старый умер). Через 20 с аренда истекла → `lease_expired` → retry → `claimed attempt=2` → `ready`. В S3 по-прежнему **ровно 4 ключа**: вторая попытка перезаписала те же ключи эффекта, второго набора нет». + +```bash +ops fault arm worker.after_commit_before_ack crash +``` + +```bash +ATT=$(up tests/fixtures/sample.png crash-ack.png); wt $ATT; sleep 4; ev $ATT +``` + +> «Здесь worker умер уже после COMMIT, но до ack. Повторная доставка видит `done` → `duplicate_noop` и ack. Попытка одна». + +## 6. Уровень 4: backoff + jitter, failed, реестр, replay + +```bash +ops fault arm worker.before_transform transient --count 5 +``` + +```bash +ATT=$(up tests/fixtures/sample.png retry.png); echo "$ATT"; wt $ATT +``` + +```bash +ev $ATT +``` + +> «5 временных ошибок: паузы растут по окнам [1,2], [2,4], [4,8], [8,16] с (видно в `retry_scheduled`). После 5-й попытки — `failed / retry_exhausted`, без бесконечного ретрая». + +```bash +make failed +``` + +```bash +ops replay $ATT --actor koshelev && wt $ATT +``` + +```bash +ops replay $ATT --actor koshelev; echo "exit code $?" +``` + +> «Replay — явная команда оператора с аудитом (событие `replay`, автор). Тот же `job_id` и тот же ключ эффекта. Для уже готового вложения replay **отклоняется** (код 3) — «повторить» не значит исполнить дубль успешной работы». + +Постоянная ошибка — без повторов: + +```bash +python3 -c 'import sys;sys.path.insert(0,"student-tests");from stack import corrupt_png;open("/tmp/broken.png","wb").write(corrupt_png())' +ATT=$(up /tmp/broken.png broken.png); wt $ATT +``` + +```bash +curl -s -o /dev/null -w "attach failed -> %{http_code}\n" -X POST $B/api/v1/chats/$CHAT/messages -H "Authorization: Bearer $TA" -H "Idempotency-Key: demo-$RANDOM" -H 'Content-Type: application/json' -d "{\"text\":\"\",\"attachment_ids\":[\"$ATT\"]}" +``` + +> «Заголовок и CRC корректны, поэтому API принял файл (202). Сломанные сжатые данные выявил только worker → `failed / invalid_image` с первой попытки, без ретраев. Прикрепить failed-вложение — 409». + +## 7. Трек 2: дубли и версии + +```bash +ATT=$(up tests/fixtures/sample.png track2.png); wt $ATT +``` + +```bash +ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; ops republish $ATT --attempt 1; sleep 2; ev $ATT +``` + +> «Три сырых дубля в обход outbox → три `duplicate_noop`. Ни одна строка и ни один объект не изменились». + +```bash +ops reprocess $ATT --pipeline-version 2; sleep 3; st $ATT; ev $ATT +``` + +> «Новая версия pipeline: отдельная job v2 и ключи `v2/…`. Во время перерасчёта вложение оставалось ready со старыми вариантами, переключение — атомарный COMMIT». + +```bash +ops republish $ATT --pipeline-version 1 --attempt 1; sleep 2; ev $ATT | tail -5 +``` + +```bash +ops reprocess $ATT --pipeline-version 1; echo "exit code $?" +``` + +> «Устаревшее v1-сообщение после v2 — no-op; даунгрейд отклонён. Результат старой версии не может перезаписать новый: проверка версии внутри COMMIT и разные ключи S3». + +Сложные гонки (reorder и «v1 медленная, v2 фиксируется первой») — автоматически, ~40 с: + +```bash +python3 student-tests/faults_test.py --only reorder,stale_version_race,poison_message +``` + +Полный набор из 14 сценариев с инвариантами I1–I5 (~5 минут; результат прошлого прогона — в `evidence/faults.txt`): + +```bash +make test-faults +``` + +## 8. Лимиты, persistence, failover, очистка + +```bash +make test-pipeline +``` + +```bash +make test-limits +``` + +```bash +make test-persistence ACTION_SCRIPT=scripts/restart.sh +``` + +```bash +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh +``` + +```bash +make sweep-dry-run +``` + +> «Лимиты: при RLIMIT_AS 160 MiB → `image_too_large` за одну попытку; при тайм-ауте 0.3 с дочерний процесс убивается → `retry_exhausted`. Persistence перезапускает API, worker, relay и **все** хранилища, включая RabbitMQ, с теми же volumes. Sweeper в dry-run показывает, что удалил бы, и никогда не трогает queued/processing». + +## 9. Остановка + +```bash +ops fault clear +``` + +```bash +docker compose stop +``` + +> «`stop` сохраняет volumes. Удаление учебных данных — только осознанно: `docker compose down -v`». + +--- ## Ответы на вопросы защиты -**Чем publisher confirm отличается от consumer ack?** Confirm (`basic.ack` от брокера издателю) — брокер принял сообщение и записал его в quorum queue (Raft-лог на диске); после него relay ставит `published_at`. Consumer ack (от worker брокеру) — потребитель закончил обработку и брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы ответственности: confirm закрывает окно producer → broker, ack — broker → consumer. +**Чем publisher confirm отличается от consumer ack?** Confirm (`basic.ack` от брокера издателю) — брокер принял сообщение и записал его в quorum queue; после него relay ставит `published_at`. Consumer ack (от worker брокеру) — потребитель закончил обработку, брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы: producer → broker и broker → consumer. -**Что сохранено в момент 202?** Полный оригинал в `staging/` (S3 проверил SHA-256), строка `attachments(queued)` с размером/SHA-256/ключами, `jobs(queued)` и строка `outbox` — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox. +**Что сохранено в момент 202?** Полный оригинал в `staging/` (S3 проверил SHA-256), строка `attachments(queued)` с размером, SHA-256 и ключами, `jobs(queued)` и строка `outbox` — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox. -**Почему повторная доставка нормальна и где ключ идемпотентности?** At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — `(attachment_id, pipeline_version, variant)`: это и ключи S3, и PK `attachment_variants`; логическая работа — `jobs(job_id)` с UNIQUE `(attachment_id, pipeline_version)`; попытка — `(job_id, attempt)`. Worker стартует попытку только из `queued` с `attempt+1`, всё остальное — no-op с ack. +**Почему повторная доставка нормальна и где ключ идемпотентности?** At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — `(attachment_id, pipeline_version, variant)`: это и ключи S3, и PK `attachment_variants`. Логическая работа — `jobs(job_id)` с UNIQUE `(attachment_id, pipeline_version)`, попытка — `(job_id, attempt)`. Worker стартует попытку только из `queued` с `attempt+1`, всё остальное — no-op с ack. -**Как отличить зависший worker от долго работающего?** Живой worker продлевает lease heartbeat'ом каждые 5 с (lease 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее *преобразование* убивается по `JOB_TIMEOUT_SECONDS` в дочернем процессе. Умерший worker перестаёт продлевать lease — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его `(lease_owner, attempt)` → `fenced_out`. Поэтому двух неконтролируемых зафиксированных результатов быть не может. +**Как отличить зависший worker от долго работающего?** Живой worker продлевает аренду heartbeat'ом каждые 5 с (аренда 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее преобразование убивается по `JOB_TIMEOUT_SECONDS` в дочернем процессе. Умерший worker перестаёт продлевать аренду — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его `(lease_owner, attempt)` → `fenced_out`. Поэтому двух неконтролируемых зафиксированных результатов быть не может. diff --git a/REPORT.md b/REPORT.md index 94ad07f..8595c50 100644 --- a/REPORT.md +++ b/REPORT.md @@ -9,20 +9,23 @@ Требования: Docker Engine + Compose v2 (проверено: Docker Desktop 28.0.1, Compose 2.33.1), Python 3.9+ для тестов (проверено 3.14, только stdlib), `make`. Стенд: Apple M3, 8 CPU, 16 GiB, Docker VM 8 CPU / 7.6 GiB. +Секреты создаются в `./secrets/` (в `.gitignore`): пароли PG/Valkey/RabbitMQ, S3-ключи, `broker_url`, `rabbitmq.conf`. Для тестов отказов в `.env` поставьте `FAULT_INJECTION=1`. Порядок старта: postgres, valkey, s3, rabbitmq → migrate, s3-init → api ×2, relay, worker, sweeper, ops → lb. + ```sh -./scripts/init-secrets.sh # ./secrets/* (в .gitignore): пароли PG/Valkey/RabbitMQ, S3-ключи, broker_url, rabbitmq.conf -cp .env.example .env # для тестов отказов: FAULT_INJECTION=1 в .env +./scripts/init-secrets.sh +cp .env.example .env docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait -# postgres, valkey, s3, rabbitmq -> migrate, s3-init -> api x2, relay, worker, sweeper, ops -> lb -make check && make test # публичные проверки -python3 student-tests/pipeline_test.py # варианты, EXIF, alpha, лимиты, invalid_image -python3 student-tests/faults_test.py --output evidence/faults.json # 14 сценариев отказов (нужен FAULT_INJECTION=1) -python3 student-tests/limits_test.py # лимиты времени/памяти worker (пересоздаёт worker) +make check && make test +python3 student-tests/pipeline_test.py +python3 student-tests/faults_test.py --output evidence/faults.json +python3 student-tests/limits_test.py make test-persistence ACTION_SCRIPT=scripts/restart.sh -make test-failover ACTION_SCRIPT=scripts/stop-one.sh ; ./scripts/restore.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh ``` +`pipeline_test.py` — варианты, EXIF, alpha, лимиты, `invalid_image`; `faults_test.py` — 14 сценариев отказов (нужен `FAULT_INJECTION=1`); `limits_test.py` — лимиты времени и памяти worker (пересоздаёт контейнер worker). Сценарий защиты по шагам — `DEMO.md`. + - Операторские действия: `./scripts/stop-worker.sh`, `./scripts/start-worker.sh`, CLI `docker compose exec ops python -m app.ops `. RabbitMQ management UI — только `http://127.0.0.1:15672` (логин `messenger`, пароль в `secrets/rabbitmq_password`). - Bootstrap идемпотентен: `migrate` применяет только новые файлы под advisory lock; `s3-init` — «bucket already exists»; топологию брокера (exchange/queues/bindings) объявляют relay/worker/ops при каждом старте (`declare` идемпотентен). - Безопасная остановка: `docker compose stop` / `docker compose down` (volumes сохраняются). **Намеренное удаление учебных данных:** `docker compose down -v` (удаляет `pgdata`, `s3data`, `rabbitmqdata`).