Files
mtusi2026lab3/DEMO.md
T

22 KiB
Raw Blame History

Демонстрация лабораторной 3 на защите

Сценарий повторяет раздел «Сценарий защиты» из README: стенд поднимается с нуля на пустом volume, затем показываются балансировка одной сессии по репликам, идемпотентность, остановка каждой реплики, рестарт всего стенда и эксперименты уровня 4.

Важно: выполняйте команды по порядку в одном окне терминала. Переменные B, TA, TB, ALICE, BOB, CHAT, KEY и функции j, pg, ids живут только в этом окне.


0. Подготовка: чистый clone

Если запущен рабочий стенд, останавливаем его. Volume сохраняется, порт освобождается:

(cd ~/Desktop/вуз/ВНП/lab3/mtusi2026lab3 && docker compose stop)

Скачиваем решение в новую папку:

git clone -b solution/bvt2304-koshelev ssh://git@gitea.privcloud.tech:2222/Iicon18/mtusi2026lab3.git ~/Desktop/lab3-demo
cd ~/Desktop/lab3-demo

Отдельное имя compose-проекта даёт отдельные контейнеры и новый пустой volume:

export COMPOSE_PROJECT_NAME=lab3-demo
cp .env.example .env

Если порт 8080 занят (у меня его держит посторонний контейнер romashka-frontend), меняем APP_PORT в .env, например на 8088. Следующая команда подхватит значение:

B=http://127.0.0.1:$(sed -n 's/^APP_PORT=//p' .env); echo "$B"

Вспомогательные функции: достать поле из JSON, выполнить SQL, показать заголовок X-Instance-Id.

j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
ids() { for c in $(docker compose ps -q api); do printf '%s -> %s\n' "$(docker inspect -f '{{.Name}}' $c)" "$(docker exec $c cat /tmp/instance-id)"; done; }

Сказать: «Это свежий clone моей ветки в отдельный compose-проект, база будет пустой. .env и секреты не хранятся в Git, создаю их локально».


1. Секреты

make secrets
git check-ignore -v secrets/database_url .env

Сказать: «Как в lab2: scripts/init-secrets.sh генерирует пароли PostgreSQL и Valkey в secrets/ (в .gitignore). В контейнеры они приходят как compose secrets файлами /run/secrets/.... Балансировщику секреты не выдаются вообще — ему они не нужны».


2. Топология и запуск

cat compose.yaml

Сказать:

  • «Пять сервисов: lb (HAProxy) — единственная публичная точка входа; api — приложение, deploy.replicas: 2; migrate — одноразовые миграции; postgres — источник истины; valkey — общий кэш сессий».
  • «У api нет ports и нет container_name: снаружи до реплик не достучаться в обход LB, и сервис можно масштабировать (API_REPLICAS=4)».
  • «Две сети: edge (lb ↔ api) и data (api ↔ postgres/valkey) с internal: true. БД и кэш недоступны ни с хоста, ни из балансировщика».
  • «У каждого контейнера лимиты CPU/RAM в deploy.resources.limits. Версии образов закреплены, latest нигде нет».
  • «api стартует только после migrate с кодом 0 — миграции выполняет один процесс, а не гонка реплик».
make up
docker compose ps --all --format 'table {{.Name}}\t{{.Status}}\t{{.Ports}}'
docker compose logs migrate --no-log-prefix | tail -2

Сказать: «Опубликован только порт lb. Обе реплики healthy. migrate применил 0001_init и 0002_idempotency и завершился».


3. Конфигурация балансировщика

cat infra/haproxy/haproxy.cfg

Сказать:

  • «server-template api 8 api:8080 + resolvers docker: адреса реплик HAProxy берёт из встроенного DNS Docker (127.0.0.11). Поэтому масштабирование и перезапуск реплики с новым IP не требуют перезагрузки LB».
  • «Активная проверка готовности: GET /health/ready каждую секунду (inter 1s), реплика выводится после 2 неудач (fall 2), возвращается после 2 успехов (rise 2). Максимальное время обнаружения ≈ 3 с».
  • «balance roundrobin, никакой привязки клиента (sticky) нет».
  • «timeout connect 1s, retries 3, option redispatch 1, retry-on conn-failure empty-response: если до реплики не удалось достучаться, запрос повторяется на другой реплике. Для POST это безопасно, потому что сообщение идемпотентно по ключу».
  • «http-error — если живых реплик нет, сам LB отвечает JSON-ошибкой в формате API с X-Request-Id».

4. Публичный тест

make check
make test BASE_URL="$B"

Сказать: «Публичный smoke lab3: всё из lab2 плюс обязательный X-Instance-Id в каждом ответе и Idempotency-Key при отправке сообщения — повтор, 409 на другой body, 400 без ключа».


5. Одна сессия — разные реплики

ALICE=$(curl -s -X POST "$B/api/v1/users" -H 'Content-Type: application/json' -d '{"username":"alice","display_name":"Алиса","password":"Alice-demo-pass-1"}' | j id); BOB=$(curl -s -X POST "$B/api/v1/users" -H 'Content-Type: application/json' -d '{"username":"bob","display_name":"Боб","password":"Bob-demo-pass-123"}' | j id); echo "$ALICE $BOB"

Один вход — один токен:

TA=$(curl -s -X POST -u 'alice:Alice-demo-pass-1' "$B/api/v1/auth/sessions" | j token); TB=$(curl -s -X POST -u 'bob:Bob-demo-pass-123' "$B/api/v1/auth/sessions" | j token); echo ok

Шесть запросов одним токеном:

for i in 1 2 3 4 5 6; do curl -s -D - -o /dev/null "$B/api/v1/users/me" -H "Authorization: Bearer $TA" | grep -i '^x-instance-id'; done

Какому контейнеру соответствует каждый id:

ids

Сказать:

  • «Запросы чередуются между двумя репликами, а повторного входа нет: сессия хранится в PostgreSQL, кэш общий в Valkey. Ни у одной реплики нет своего локального состояния».
  • «X-Instance-Id — случайный псевдоним api-xxxxxxxx, генерируется один раз при старте процесса. Hostname и IP не раскрываются. Сама реплика пишет его в /tmp/instance-id своего контейнера — так я доказываю, что это разные процессы в разных контейнерах, а не просто разный заголовок».

6. Идемпотентность отправки

CHAT=$(curl -s -X POST "$B/api/v1/chats" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -d "{\"title\":\"Защита ЛР3\",\"member_ids\":[\"$ALICE\",\"$BOB\"]}" | j id); KEY=demo-$(date +%s); echo "$CHAT $KEY"

Один и тот же POST три раза — смотрим id сообщения и реплику:

for i in 1 2 3; do curl -s -i -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -H "Idempotency-Key: $KEY" -d '{"text":"Ровно одно сообщение"}' | grep -iE '^HTTP|^x-instance-id|"id"' ; echo; done

Тот же ключ, другой текст → 409; без ключа → 400:

curl -s -o /dev/null -w '%{http_code}\n' -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -H "Idempotency-Key: $KEY" -d '{"text":"Другой текст"}'; curl -s -o /dev/null -w '%{http_code}\n' -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -d '{"text":"без ключа"}'

Тот же ключ у Боба — независим:

curl -s -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TB" -H "Idempotency-Key: $KEY" -d '{"text":"Ровно одно сообщение"}'; echo
pg "SELECT key, user_id, encode(request_hash,'hex') AS hash, message_id, created_at FROM idempotency_keys WHERE chat_id = '$CHAT'"
pg "SELECT count(*) FROM messages WHERE chat_id = '$CHAT'"

Сказать:

  • «Три одинаковых POST через разные реплики — один и тот же 201 и тот же id. Сообщений в базе от Алисы одно, плюс одно от Боба: ключ ограничен пользователем и чатом».
  • «Таблица idempotency_keys, первичный ключ (user_id, chat_id, key). В ней SHA-256 канонического JSON тела (ключи отсортированы) — поэтому другой текст с тем же ключом даёт 409».
  • «Запись ключа и сообщения — одна транзакция: сначала INSERT … ON CONFLICT DO NOTHING в idempotency_keys, потом INSERT сообщения. Если транзакция упала, нет ни ключа, ни сообщения — клиент может безопасно повторить. Если она закоммичена, повтор получит сохранённый результат».
  • «Ключ хранится 24 часа (IDEMPOTENCY_TTL_SECONDS); устаревшая запись удаляется при следующем использовании этого ключа».

Конкурентный повтор через разные реплики — свой тест:

make test-student BASE_URL="$B"

Сказать: «32 потока одновременно (через threading.Barrier) отправляют один и тот же ключ, 5 раундов. Запросы делятся по репликам 16/16, а сообщение создаётся ровно одно. Как это работает: второй INSERT с тем же первичным ключом ждёт на уникальном индексе, пока первая транзакция не закончится. После её COMMIT он получает конфликт, читает уже закоммиченную строку и возвращает то же сообщение. Гонку решает PostgreSQL, а не проверка "SELECT, потом INSERT"».


7. Отказ одной реплики

cat scripts/stop-one.sh

Сказать: «Тест передаёт TARGET_INSTANCE_ID — id реплики, которая обслужила его первое сообщение. Скрипт обходит контейнеры api, читает /tmp/instance-id и делает docker stop именно нужного. docker stop шлёт SIGTERM, а restart: unless-stopped не поднимает контейнер, остановленный вручную, — реплика остаётся остановленной. БД, LB и volumes не трогаются».

make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$B"
tail -1 evidence/stop-one.txt; docker compose ps -a api --format 'table {{.Name}}\t{{.Status}}'

Сказать:

  • «Тест 15 секунд пишет сообщения параллельно со скриптом, неудачный POST повторяет с тем же ключом. Результат: failed_attempts: 0, запись восстановилась за ~3 с (норма ≤ 10 с), остановленная реплика в последних ответах не встречается, дублей и потерь нет».
  • «Видно, какой контейнер реально остановлен: Exited (0) — код 0, значит процесс корректно завершился по SIGTERM, а не был убит по таймауту (137)».

Возвращаем реплику:

make restore

Повторяем для второй реплики. Если в stop-one.txt снова та же — сдвигаем round-robin одним запросом и запускаем ещё раз:

curl -s -o /dev/null "$B/health/live"; make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$B"; tail -2 evidence/stop-one.txt
make restore

Сказать: «Тест выбирает жертву по тому, кто ответил на его первое сообщение. Число запросов до этого у теста всегда одинаковое, а round-robin детерминирован — поэтому один лишний запрос меняет, какая реплика будет остановлена».


8. Рестарт всего стенда

cat scripts/restart.sh
docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL="$B"
docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)
curl -s "$B/api/v1/chats/$CHAT/messages" -H "Authorization: Bearer $TA" | python3 -m json.tool --no-ensure-ascii | head -20

Сказать: «StartedAt изменился у всех: api, lb, postgres, valkey. Volume pgdata тот же, поэтому прежний токен Алисы работает без повторного входа, и сообщения на месте».


9. Уровень 4: отказ каждой реплики под нагрузкой

make chaos BASE_URL="$B"

Сказать:

  • «Мой генератор student-tests/chaos_load.py: 8 потоков 25 секунд, каждый по кругу пишет сообщение (неудачу повторяет с тем же ключом) и читает историю. На 5-й секунде scripts/stop-container.sh останавливает реплику. Make делает это по очереди для api-1 и api-2, восстанавливая предыдущую».
  • «На моём стенде: ~600 успешных RPS, 0 ошибок, p99 ≈ 60 мс, восстановление ≈ 2.5 с. После прогона читается вся история: каждое подтверждённое сообщение есть ровно один раз».
  • «Худшая задержка ≈ 1 с: IP остановленного контейнера не отвечает отказом, HAProxy ждёт timeout connect 1s и повторяет запрос на живой реплике. Через ≤ 2 проверки реплика выводится из ротации, и задержки прекращаются».
  • «В docker_stats_mid видно: оставшаяся реплика упирается в свой лимит 0.5 CPU — это предел пропускной способности одной реплики».

10. Уровень 4: rolling update под нагрузкой

cat scripts/rolling-update.sh
python3 student-tests/chaos_load.py --base-url "$B" --action scripts/rolling-update.sh --action-at 5 --duration 45 | python3 -c 'import json,sys; d=json.load(sys.stdin); print({k: d[k] for k in ("requests","errors","successful_rps","latency_ms_success","action_output","integrity")})'
docker compose ps api --format 'table {{.Name}}\t{{.Status}}'

Сказать:

  • «Compose сам не умеет поочерёдную замену, поэтому скрипт: собрать новый образ → один раз прогнать миграции → для каждой старой реплики поднять одну новую (--scale N+1 --no-recreate), дождаться healthy, затем остановить и удалить одну старую. В ротации никогда не меньше N рабочих реплик».
  • «Ошибок 0, реплики теперь api-3 и api-4 — это новые контейнеры».
  • «Миграции аддитивные: новая таблица idempotency_keys не мешает старой версии кода. Разрушающее изменение схемы потребовало бы expand/contract в несколько релизов».

11. Уровень 4: лимиты, изоляция, ответ LB без реплик

for c in $(docker compose ps -q); do docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} mem={{.HostConfig.Memory}}' $c; done
docker compose exec -T lb sh -c 'nc -z -w 2 postgres 5432 && echo reachable || echo "postgres недоступен из lb"'

Останавливаем обе реплики — отвечает сам LB:

docker compose stop api; sleep 3; curl -si "$B/api/v1/users/me"; echo
docker compose up -d --wait api

Сказать: «503 в формате ошибок API с X-Request-Id, без X-Instance-Id — контракт это разрешает для ошибок, созданных самим LB».


12. Остановка и удаление данных

Обычная остановка, данные в volume остаются:

docker compose down

Намеренное удаление учебных данных демо-стенда (необратимо):

docker compose down -v
unset COMPOSE_PROJECT_NAME

Короткие ответы на вопросы из README

  • Чем отказ процесса отличается от отказа узла?
    • Отказ процесса — упал или остановлен один контейнер API. Docker-host, сеть, БД и LB живы, другая реплика продолжает работу. Это то, что выдерживает мой стенд.
    • Отказ узла — пропадает вся машина: все контейнеры на ней, включая единственные LB и PostgreSQL. На одном Docker-host от этого не защититься: нужны несколько узлов, реплицированная БД, LB вне узла (трек 2 уровня 5, его я не делал).
  • Почему depends_on/healthcheck сами по себе не являются балансировщиком?
    • depends_on управляет только порядком запуска при up. После старта он ничего не делает.
    • Healthcheck Docker только помечает контейнер unhealthy; трафик он не перенаправляет и сам контейнер в Compose не перезапускает.
    • Распределять запросы, исключать мёртвые бэкенды и повторять запрос на другом умеет только балансировщик — у меня HAProxy с собственными активными проверками.
  • Какие POST можно повторять после timeout и что защищает Idempotency-Key?
    • После timeout клиент не знает, выполнилась ли запись. Повторять можно только идемпотентные операции. У нас это POST /chats/{id}/messages с тем же ключом и тем же телом: если первая попытка закоммичена, сервер вернёт её результат, если нет — выполнит заново.
    • Ключ защищает от дублей при повторе клиентом, при повторе LB на другой реплике и при одновременных повторах.
    • Создание чата, регистрацию, загрузку файла слепо повторять нельзя: ключа у них нет, получится второй объект.
  • Что сломается при увеличении числа API, если сессии хранятся в локальной памяти?
    • Токен знает только реплика, где был вход. Round-robin отправит следующий запрос на другую — 401. Пришлось бы включать sticky sessions, а это маскирует проблему.
    • Logout на одной реплике не отзовёт токен на другой.
    • При остановке или перезапуске реплики все её сессии пропадут, пользователям придётся входить заново.
    • Аналогично для локальных ключей идемпотентности: повтор через другую реплику создал бы дубль.