- re-capture coverage-exclusion evidence on the lab 4 stand: cache,
auth storage, replay after API recreate, test-persistence,
attachment-failover (stop, kill), attachment-storage
- green evidence/tests: student_test via LB, test_isolated,
failure_checks; smoke, slow transfer, test-failover per replica
- bench_rollout label attachments: e1161f7 -> schema with attachments
under load, no errors, messages = keys
- REPORT.md: attachments architecture, write order, defense answers,
level 3/4 evidence rows, limitations; PLAN.md stage 2
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6.3 KiB
6.3 KiB
make test-failover на стенде лабы 4
- Дата: 2026-10-20, 22:35:09–22:36:40 UTC.
- Commit:
d56b892(код приложения —116d8d3, changeattachments). - Стенд: рабочий
mtusi-lab4— HAProxy на127.0.0.1:8080, две реплики API (mtusi-lab4-api-5=5f5d4ac50d9a,mtusi-lab4-api-6=847ad74efd7c), PostgreSQL, Valkey, S3. - Профиль проверки —
LAB=4(lab.json):tests/resilience.pyещё до отказа загружает вложение, 15 с пишет сообщения с ключом параллельно hook, повторяет неподтверждённые с тем же ключом, сверяет данные и после отказа снова скачивает оригинал вложения (SHA-256). - Hook —
scripts/stop-one.sh: останавливает реплику, ответившую на первую отправку теста (TARGET_INSTANCE_ID), и оставляет её остановленной;STOP_ONE_LOG— какой контейнер остановлен. Между прогонами —make replicasи ожидание обеих репликUPв LB.
Прогон 1: stop, реплика 5f5d4ac50d9a
$ docker compose ps --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME CONTAINER ID STATUS
mtusi-lab4-api-5 5f5d4ac50d9a Up 2 minutes (healthy)
mtusi-lab4-api-6 847ad74efd7c Up 3 minutes (healthy)
mtusi-lab4-haproxy-1 1d3b522e85fa Up 3 minutes (healthy)
mtusi-lab4-postgres-1 29c7b37863c1 Up 3 minutes (healthy)
mtusi-lab4-s3-1 805bf7f382ac Up 3 minutes (healthy)
mtusi-lab4-valkey-1 bd4329833fcc Up 3 minutes (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=stop-one.log
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.198}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME CONTAINER ID STATUS
mtusi-lab4-api-5 5f5d4ac50d9a Exited (0) 14 seconds ago
mtusi-lab4-api-6 847ad74efd7c Up 3 minutes (healthy)
mtusi-lab4-haproxy-1 1d3b522e85fa Up 3 minutes (healthy)
mtusi-lab4-migrate-1 90b7cf1186b7 Exited (0) 3 minutes ago
mtusi-lab4-postgres-1 29c7b37863c1 Up 3 minutes (healthy)
mtusi-lab4-s3-1 805bf7f382ac Up 3 minutes (healthy)
mtusi-lab4-s3-bootstrap-1 7bfe3a481799 Exited (0) 2 minutes ago
mtusi-lab4-valkey-1 bd4329833fcc Up 3 minutes (healthy)
$ make replicas
Прогон, запущенный сразу после make replicas, снова выбрал
5f5d4ac50d9a (код 0, first_recovery_seconds 1.103): тест
останавливает реплику, ответившую на его первую отправку, а порядок
round-robin после возврата реплики тот же. Перед прогоном 2 — ожидание
обеих реплик UP и один запрос GET /health/live, сдвигающий очередь
LB (SKILL.md, стенд compose).
Прогон 2: stop, реплика 847ad74efd7c
$ make lb_stats | grep '^api-'
api-1 192.168.0.6:8080 UP L7OK 0 363 0 0 0 0
api-2 192.168.0.5:8080 UP L7OK 0 110 0 0 10 0
$ curl -s -o /dev/null http://127.0.0.1:8080/health/live
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=stop-one.log
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.115}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}' | grep api
mtusi-lab4-api-5 5f5d4ac50d9a Up 26 seconds (healthy)
mtusi-lab4-api-6 847ad74efd7c Exited (0) 14 seconds ago
$ make replicas
Прогон 3: STOP_MODE=kill, реплика 847ad74efd7c
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=kill STOP_ONE_LOG=stop-one.log
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 0.757}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}' | grep api
mtusi-lab4-api-5 5f5d4ac50d9a Up 50 seconds (healthy)
mtusi-lab4-api-6 847ad74efd7c Exited (137) 15 seconds ago
$ make replicas
$ docker compose ps --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME CONTAINER ID STATUS
mtusi-lab4-api-5 5f5d4ac50d9a Up 53 seconds (healthy)
mtusi-lab4-api-6 847ad74efd7c Up 2 seconds (healthy)
mtusi-lab4-haproxy-1 1d3b522e85fa Up 4 minutes (healthy)
mtusi-lab4-postgres-1 29c7b37863c1 Up 4 minutes (healthy)
mtusi-lab4-s3-1 805bf7f382ac Up 4 minutes (healthy)
mtusi-lab4-valkey-1 bd4329833fcc Up 4 minutes (healthy)
STOP_ONE_LOG
2026-10-20T22:35:10Z TARGET_INSTANCE_ID=5f5d4ac50d9a container=5f5d4ac50d9a5025dcd8834544bdd99e8d926be6007e89aec8d979caef6f80ee mode=stop
2026-10-20T22:35:29Z TARGET_INSTANCE_ID=5f5d4ac50d9a container=5f5d4ac50d9a5025dcd8834544bdd99e8d926be6007e89aec8d979caef6f80ee mode=stop
2026-10-20T22:35:55Z TARGET_INSTANCE_ID=847ad74efd7c container=847ad74efd7cc516f97edbe787c242cfd2b3d8a95bee0b6632e0a20565622db8 mode=stop
2026-10-20T22:36:19Z TARGET_INSTANCE_ID=847ad74efd7c container=847ad74efd7cc516f97edbe787c242cfd2b3d8a95bee0b6632e0a20565622db8 mode=kill
- Каждая реплика остановлена хотя бы раз (
stop), вторая — ещё иkill(код выхода 137). Во всех прогонахfailed_attempts0, запись восстановилась за 0,76–1,2 с (порог теста — 10 с), дублей нет. - Остановленная реплика остаётся
Exitedдоmake replicas, затем возвращается тем же контейнером (тот жеCONTAINER ID).