forked from mtusi2026/mtusi2026lab3
make limits, make lb-check (now 20 rounds of 8 parallel posts with one key), make detection, make failover-each and make rolling-update each write their file in evidence/ and fail on a violated check; make level4 runs them in order. RATE sets the k6 arrival rate (100 rps by default). make rolling-update builds the image before the load starts so the build does not skew the measurement; with FROM_REV=<commit> it first builds the image tag from git archive of that commit and recreates the replicas on it, so the update is a real change of version, and it writes to evidence/rolling-from-<commit>. Lint covers scripts/limits.py. CI acceptance runs make limits and make detection. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
3.6 KiB
3.6 KiB
1. Остановка и готовность (платформа)
- 1.1
DRAININGвshared/entrypoints/health.py:/health/readyотвечает503 unavailable, пока флаг поднят - 1.2
DrainingServerиMessengerWorker._serveвgunicorn_conf.py: окноDRAIN_SECONDS, затем штатная остановка; uvicorn дообрабатываетSHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS - 1.3 Пинг readiness: 0,4 с на соединение и 0,4 с на запрос
- 1.4 Проверка группы: тесты — ready
503при флаге и live200; настоящий gunicorn поSIGTERMдержит окно, закрывает порт и выходит с кодом 0 за срок
2. Стенд и таймауты
- 2.1
compose.yaml: явныеDRAIN_SECONDS,DB_ACQUIRE_TIMEOUT_SECONDS,DB_COMMAND_TIMEOUT_SECONDSуapi; сервисk6под профилемbench;.env.example, Dockerfile - 2.2 Тест цепочки таймаутов по
compose.yaml,haproxy.cfgиscripts/stop-one.sh - 2.3 HAProxy
init-state fully-down: вернувшаяся через DNS реплика ждётrise 2проверок - 2.4 Проверка группы:
docker compose --profile bench config --quiet,make student-test -k "timeouts or drain"
3. Нагрузка и зонд
- 3.1
infra/k6/messages.js,scripts/k6.sh(запуск от uid хоста) - 3.2
scripts/probe.py:load(k6 + зонд + опрос LB,action.log, счётчики повторов LB,--expect dip|replace,pass),detect(действие фоном,--max,--until,--within-action,--lb-status,--restore),check --rounds - 3.3 Проверка группы:
make lint,make check(разборscripts/*.pyинтерпретатором CI),k6 inspect
4. Сценарии уровня «4»
- 4.1
scripts/detection.shиmake detection:SIGTERM,docker kill,docker pause, остановка PostgreSQL с заявленными максимумами - 4.2
scripts/failover-each.shиmake failover-each: остановка, 10 с без реплики и возврат каждой реплики под нагрузкой - 4.3
scripts/limits.pyиmake limits: политика лимитов, портов, секретов, volumes, сетей - 4.4
scripts/rolling-update.shиmake rolling-update [FROM_REV=…]:migrateодин раз, замена с запасом +1, журнал образов - 4.5 Тест отказа PostgreSQL через LB: ответы
503, live внутри реплики200, LB исключает все реплики и сам отвечает503 - 4.6 CI:
make limits,make detectionв acceptance - 4.7 Проверка группы:
make up,make limits,make lb-check,make detection,make failover-each,make rolling-update FROM_REV=8d28d45,make test-faults
5. Отчёт
- 5.1
evidence/: detection, failover-each, rolling, limits, lb-check, повторные прогоны уровня «3» на новом коде - 5.2
REPORT.md: таймауты и обнаружение, строки 4.1–4.4, таблица отказов уровня «4», ограничения - 5.3 Проверка группы:
make check,make validate,make lint,make student-test,make test,make test-persistence ACTION_SCRIPT=scripts/restart.sh,make test-failover ACTION_SCRIPT=scripts/stop-one.shдля обеих реплик