Files
mtusi2026lab4/evidence/failover/test-failover.md
T
ricoromaandClaude Opus 5.5 8dc925e8ca docs: add attachments evidence and report
- re-capture coverage-exclusion evidence on the lab 4 stand: cache,
  auth storage, replay after API recreate, test-persistence,
  attachment-failover (stop, kill), attachment-storage
- green evidence/tests: student_test via LB, test_isolated,
  failure_checks; smoke, slow transfer, test-failover per replica
- bench_rollout label attachments: e1161f7 -> schema with attachments
  under load, no errors, messages = keys
- REPORT.md: attachments architecture, write order, defense answers,
  level 3/4 evidence rows, limitations; PLAN.md stage 2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 01:50:10 +03:00

6.3 KiB
Raw Blame History

make test-failover на стенде лабы 4

  • Дата: 2026-10-20, 22:35:09–22:36:40 UTC.
  • Commit: d56b892 (код приложения — 116d8d3, change attachments).
  • Стенд: рабочий mtusi-lab4 — HAProxy на 127.0.0.1:8080, две реплики API (mtusi-lab4-api-5 = 5f5d4ac50d9a, mtusi-lab4-api-6 = 847ad74efd7c), PostgreSQL, Valkey, S3.
  • Профиль проверки — LAB=4 (lab.json): tests/resilience.py ещё до отказа загружает вложение, 15 с пишет сообщения с ключом параллельно hook, повторяет неподтверждённые с тем же ключом, сверяет данные и после отказа снова скачивает оригинал вложения (SHA-256).
  • Hook — scripts/stop-one.sh: останавливает реплику, ответившую на первую отправку теста (TARGET_INSTANCE_ID), и оставляет её остановленной; STOP_ONE_LOG — какой контейнер остановлен. Между прогонами — make replicas и ожидание обеих реплик UP в LB.

Прогон 1: stop, реплика 5f5d4ac50d9a

$ docker compose ps --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME                    CONTAINER ID   STATUS
mtusi-lab4-api-5        5f5d4ac50d9a   Up 2 minutes (healthy)
mtusi-lab4-api-6        847ad74efd7c   Up 3 minutes (healthy)
mtusi-lab4-haproxy-1    1d3b522e85fa   Up 3 minutes (healthy)
mtusi-lab4-postgres-1   29c7b37863c1   Up 3 minutes (healthy)
mtusi-lab4-s3-1         805bf7f382ac   Up 3 minutes (healthy)
mtusi-lab4-valkey-1     bd4329833fcc   Up 3 minutes (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=stop-one.log
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.198}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME                        CONTAINER ID   STATUS
mtusi-lab4-api-5            5f5d4ac50d9a   Exited (0) 14 seconds ago
mtusi-lab4-api-6            847ad74efd7c   Up 3 minutes (healthy)
mtusi-lab4-haproxy-1        1d3b522e85fa   Up 3 minutes (healthy)
mtusi-lab4-migrate-1        90b7cf1186b7   Exited (0) 3 minutes ago
mtusi-lab4-postgres-1       29c7b37863c1   Up 3 minutes (healthy)
mtusi-lab4-s3-1             805bf7f382ac   Up 3 minutes (healthy)
mtusi-lab4-s3-bootstrap-1   7bfe3a481799   Exited (0) 2 minutes ago
mtusi-lab4-valkey-1         bd4329833fcc   Up 3 minutes (healthy)
$ make replicas

Прогон, запущенный сразу после make replicas, снова выбрал 5f5d4ac50d9a (код 0, first_recovery_seconds 1.103): тест останавливает реплику, ответившую на его первую отправку, а порядок round-robin после возврата реплики тот же. Перед прогоном 2 — ожидание обеих реплик UP и один запрос GET /health/live, сдвигающий очередь LB (SKILL.md, стенд compose).

Прогон 2: stop, реплика 847ad74efd7c

$ make lb_stats | grep '^api-'
api-1          192.168.0.6:8080  UP      L7OK          0     363   0     0      0       0
api-2          192.168.0.5:8080  UP      L7OK          0     110   0     0      10      0
$ curl -s -o /dev/null http://127.0.0.1:8080/health/live
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=stop-one.log
{"observed_instances_before": 2, "successful_writes": 117, "failed_attempts": 0, "first_recovery_seconds": 1.115}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}' | grep api
mtusi-lab4-api-5            5f5d4ac50d9a   Up 26 seconds (healthy)
mtusi-lab4-api-6            847ad74efd7c   Exited (0) 14 seconds ago
$ make replicas

Прогон 3: STOP_MODE=kill, реплика 847ad74efd7c

$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=kill STOP_ONE_LOG=stop-one.log
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 0.757}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ docker compose ps -a --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}' | grep api
mtusi-lab4-api-5            5f5d4ac50d9a   Up 50 seconds (healthy)
mtusi-lab4-api-6            847ad74efd7c   Exited (137) 15 seconds ago
$ make replicas
$ docker compose ps --format 'table {{.Name}}\t{{.ID}}\t{{.Status}}'
NAME                    CONTAINER ID   STATUS
mtusi-lab4-api-5        5f5d4ac50d9a   Up 53 seconds (healthy)
mtusi-lab4-api-6        847ad74efd7c   Up 2 seconds (healthy)
mtusi-lab4-haproxy-1    1d3b522e85fa   Up 4 minutes (healthy)
mtusi-lab4-postgres-1   29c7b37863c1   Up 4 minutes (healthy)
mtusi-lab4-s3-1         805bf7f382ac   Up 4 minutes (healthy)
mtusi-lab4-valkey-1     bd4329833fcc   Up 4 minutes (healthy)

STOP_ONE_LOG

2026-10-20T22:35:10Z TARGET_INSTANCE_ID=5f5d4ac50d9a container=5f5d4ac50d9a5025dcd8834544bdd99e8d926be6007e89aec8d979caef6f80ee mode=stop
2026-10-20T22:35:29Z TARGET_INSTANCE_ID=5f5d4ac50d9a container=5f5d4ac50d9a5025dcd8834544bdd99e8d926be6007e89aec8d979caef6f80ee mode=stop
2026-10-20T22:35:55Z TARGET_INSTANCE_ID=847ad74efd7c container=847ad74efd7cc516f97edbe787c242cfd2b3d8a95bee0b6632e0a20565622db8 mode=stop
2026-10-20T22:36:19Z TARGET_INSTANCE_ID=847ad74efd7c container=847ad74efd7cc516f97edbe787c242cfd2b3d8a95bee0b6632e0a20565622db8 mode=kill
  • Каждая реплика остановлена хотя бы раз (stop), вторая — ещё и kill (код выхода 137). Во всех прогонах failed_attempts 0, запись восстановилась за 0,76–1,2 с (порог теста — 10 с), дублей нет.
  • Остановленная реплика остаётся Exited до make replicas, затем возвращается тем же контейнером (тот же CONTAINER ID).