Evidence from a freshly recreated stand at the current code: the four detection cases with their declared maxima, failover-each for both replicas under k6 at 100 rps (no errors, no balancer retries, the stopped replica never served during its outage), the 20 round same-key race, the limits and isolation check with a run against deliberate violations, and two rolling updates under load: from the level 3 image, where the old replicas without a drain window caused 54 redispatches and 2 response errors that the balancer retried, and between two current builds with all counters at zero. Level 3 runs are refreshed on the new code: smoke, stack view, both failovers with the drain sequence in the replica log, hooks with the longer stop, persistence, stack fault tests and own tests with the shutdown and timeout chain output. The report gains the shutdown order, the check period and worst detection per failure with measurements, the timeout chain, rows 4.1 to 4.4, level 4 rows of the failure table, the k6 role, the new variables and the updated limitations; AGENTS.md lists the commands. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
915 lines
8.0 KiB
CSV
915 lines
8.0 KiB
CSV
t_rel_s,up
|
|
-25.809,2
|
|
-25.702,2
|
|
-25.597,2
|
|
-25.493,2
|
|
-25.388,2
|
|
-25.274,2
|
|
-25.166,2
|
|
-25.055,2
|
|
-24.945,2
|
|
-24.83,2
|
|
-24.718,2
|
|
-24.602,2
|
|
-24.489,2
|
|
-24.385,2
|
|
-24.272,2
|
|
-24.156,2
|
|
-24.047,2
|
|
-23.933,2
|
|
-23.823,2
|
|
-23.707,2
|
|
-23.596,2
|
|
-23.481,2
|
|
-23.367,2
|
|
-23.256,2
|
|
-23.148,2
|
|
-23.045,2
|
|
-22.93,2
|
|
-22.815,2
|
|
-22.708,2
|
|
-22.595,2
|
|
-22.481,2
|
|
-22.367,2
|
|
-22.253,2
|
|
-22.138,2
|
|
-22.031,2
|
|
-21.92,2
|
|
-21.814,2
|
|
-21.698,2
|
|
-21.584,2
|
|
-21.467,2
|
|
-21.351,2
|
|
-21.237,2
|
|
-21.12,2
|
|
-21.013,2
|
|
-20.899,2
|
|
-20.789,2
|
|
-20.677,2
|
|
-20.562,2
|
|
-20.452,2
|
|
-20.34,2
|
|
-20.233,2
|
|
-20.121,2
|
|
-20.005,2
|
|
-19.891,2
|
|
-19.781,2
|
|
-19.67,2
|
|
-19.559,2
|
|
-19.445,2
|
|
-19.332,2
|
|
-19.223,2
|
|
-19.105,2
|
|
-18.994,2
|
|
-18.881,2
|
|
-18.765,2
|
|
-18.651,2
|
|
-18.541,2
|
|
-18.432,2
|
|
-18.318,2
|
|
-18.211,2
|
|
-18.096,2
|
|
-17.983,2
|
|
-17.877,2
|
|
-17.767,2
|
|
-17.655,2
|
|
-17.544,2
|
|
-17.431,2
|
|
-17.314,2
|
|
-17.206,2
|
|
-17.091,2
|
|
-16.981,2
|
|
-16.865,2
|
|
-16.757,2
|
|
-16.643,2
|
|
-16.537,2
|
|
-16.418,2
|
|
-16.306,2
|
|
-16.2,2
|
|
-16.086,2
|
|
-15.973,2
|
|
-15.864,2
|
|
-15.748,2
|
|
-15.64,2
|
|
-15.524,2
|
|
-15.409,2
|
|
-15.301,2
|
|
-15.194,2
|
|
-15.083,2
|
|
-14.968,2
|
|
-14.853,2
|
|
-14.744,2
|
|
-14.637,2
|
|
-14.522,2
|
|
-14.412,2
|
|
-14.297,2
|
|
-14.192,2
|
|
-14.077,2
|
|
-13.972,2
|
|
-13.868,2
|
|
-13.763,2
|
|
-13.654,2
|
|
-13.544,2
|
|
-13.439,2
|
|
-13.329,2
|
|
-13.223,2
|
|
-13.115,2
|
|
-13.006,2
|
|
-12.9,2
|
|
-12.789,2
|
|
-12.674,2
|
|
-12.56,2
|
|
-12.449,2
|
|
-12.339,2
|
|
-12.231,2
|
|
-12.115,2
|
|
-12.008,2
|
|
-11.897,2
|
|
-11.791,2
|
|
-11.677,2
|
|
-11.565,2
|
|
-11.45,2
|
|
-11.338,2
|
|
-11.223,2
|
|
-11.116,2
|
|
-11.001,2
|
|
-10.896,2
|
|
-10.782,2
|
|
-10.673,2
|
|
-10.562,2
|
|
-10.456,2
|
|
-10.344,2
|
|
-10.237,2
|
|
-10.125,2
|
|
-10.014,2
|
|
-9.906,2
|
|
-9.8,2
|
|
-9.69,2
|
|
-9.58,2
|
|
-9.468,2
|
|
-9.356,2
|
|
-9.245,2
|
|
-9.137,2
|
|
-9.027,2
|
|
-8.916,2
|
|
-8.809,2
|
|
-8.696,2
|
|
-8.588,2
|
|
-8.472,2
|
|
-8.356,2
|
|
-8.248,2
|
|
-8.139,2
|
|
-8.027,2
|
|
-7.916,2
|
|
-7.801,2
|
|
-7.683,2
|
|
-7.571,2
|
|
-7.456,2
|
|
-7.339,2
|
|
-7.231,2
|
|
-7.115,2
|
|
-6.999,2
|
|
-6.89,2
|
|
-6.781,2
|
|
-6.668,2
|
|
-6.554,2
|
|
-6.447,2
|
|
-6.336,2
|
|
-6.22,2
|
|
-6.1,2
|
|
-5.989,2
|
|
-5.871,2
|
|
-5.757,2
|
|
-5.645,2
|
|
-5.531,2
|
|
-5.416,2
|
|
-5.307,2
|
|
-5.192,2
|
|
-5.077,2
|
|
-4.97,2
|
|
-4.863,2
|
|
-4.752,2
|
|
-4.636,2
|
|
-4.523,2
|
|
-4.408,2
|
|
-4.299,2
|
|
-4.189,2
|
|
-4.076,2
|
|
-3.964,2
|
|
-3.857,2
|
|
-3.742,2
|
|
-3.626,2
|
|
-3.514,2
|
|
-3.398,2
|
|
-3.29,2
|
|
-3.177,2
|
|
-3.066,2
|
|
-2.96,2
|
|
-2.844,2
|
|
-2.731,2
|
|
-2.625,2
|
|
-2.518,2
|
|
-2.405,2
|
|
-2.289,2
|
|
-2.181,2
|
|
-2.065,2
|
|
-1.953,2
|
|
-1.845,2
|
|
-1.734,2
|
|
-1.624,2
|
|
-1.517,2
|
|
-1.403,2
|
|
-1.287,2
|
|
-1.172,2
|
|
-1.056,2
|
|
-0.944,2
|
|
-0.828,2
|
|
-0.721,2
|
|
-0.607,2
|
|
-0.491,2
|
|
-0.381,2
|
|
-0.264,2
|
|
-0.156,2
|
|
-0.044,2
|
|
0.064,2
|
|
0.173,2
|
|
0.281,2
|
|
0.388,2
|
|
0.493,2
|
|
0.598,2
|
|
0.702,2
|
|
0.814,2
|
|
0.918,2
|
|
1.033,2
|
|
1.137,2
|
|
1.242,2
|
|
1.355,2
|
|
1.466,2
|
|
1.577,2
|
|
1.692,2
|
|
1.805,2
|
|
1.911,2
|
|
2.025,2
|
|
2.135,2
|
|
2.244,2
|
|
2.358,2
|
|
2.462,2
|
|
2.567,2
|
|
2.68,2
|
|
2.79,2
|
|
2.9,2
|
|
3.004,2
|
|
3.113,2
|
|
3.22,3
|
|
3.328,3
|
|
3.438,3
|
|
3.542,3
|
|
3.654,3
|
|
3.757,3
|
|
3.863,3
|
|
3.969,3
|
|
4.077,3
|
|
4.184,3
|
|
4.294,3
|
|
4.408,2
|
|
4.514,2
|
|
4.628,2
|
|
4.739,2
|
|
4.85,2
|
|
4.966,2
|
|
5.077,2
|
|
5.194,2
|
|
5.297,2
|
|
5.413,2
|
|
5.518,2
|
|
5.634,2
|
|
5.741,2
|
|
5.844,2
|
|
5.956,2
|
|
6.059,2
|
|
6.165,2
|
|
6.269,2
|
|
6.373,2
|
|
6.487,2
|
|
6.599,2
|
|
6.71,2
|
|
6.825,2
|
|
6.937,2
|
|
7.048,2
|
|
7.152,2
|
|
7.256,2
|
|
7.364,2
|
|
7.477,2
|
|
7.585,2
|
|
7.694,2
|
|
7.802,2
|
|
7.916,2
|
|
8.028,2
|
|
8.138,2
|
|
8.246,2
|
|
8.352,2
|
|
8.461,2
|
|
8.573,2
|
|
8.68,2
|
|
8.795,2
|
|
8.91,3
|
|
9.025,3
|
|
9.132,3
|
|
9.241,3
|
|
9.347,3
|
|
9.456,3
|
|
9.572,3
|
|
9.682,3
|
|
9.786,3
|
|
9.901,3
|
|
10.006,3
|
|
10.111,3
|
|
10.219,3
|
|
10.327,2
|
|
10.443,2
|
|
10.556,2
|
|
10.665,2
|
|
10.779,2
|
|
10.886,2
|
|
10.994,2
|
|
11.104,2
|
|
11.219,2
|
|
11.326,2
|
|
11.437,2
|
|
11.542,2
|
|
11.655,2
|
|
11.759,2
|
|
11.863,2
|
|
11.968,2
|
|
12.073,2
|
|
12.187,2
|
|
12.302,2
|
|
12.409,2
|
|
12.515,2
|
|
12.631,2
|
|
12.744,2
|
|
12.856,2
|
|
12.961,2
|
|
13.076,2
|
|
13.19,2
|
|
13.307,2
|
|
13.422,2
|
|
13.537,2
|
|
13.646,2
|
|
13.752,2
|
|
13.861,2
|
|
13.969,2
|
|
14.078,2
|
|
14.186,2
|
|
14.301,2
|
|
14.417,2
|
|
14.531,2
|
|
14.645,2
|
|
14.752,2
|
|
14.861,2
|
|
14.977,2
|
|
15.088,2
|
|
15.204,2
|
|
15.311,2
|
|
15.418,2
|
|
15.527,2
|
|
15.635,2
|
|
15.751,2
|
|
15.863,2
|
|
15.975,2
|
|
16.087,2
|
|
16.202,2
|
|
16.315,2
|
|
16.426,2
|
|
16.537,2
|
|
16.651,2
|
|
16.765,2
|
|
16.881,2
|
|
16.994,2
|
|
17.106,2
|
|
17.22,2
|
|
17.334,2
|
|
17.445,2
|
|
17.56,2
|
|
17.669,2
|
|
17.778,2
|
|
17.891,2
|
|
17.996,2
|
|
18.108,2
|
|
18.219,2
|
|
18.335,2
|
|
18.448,2
|
|
18.557,2
|
|
18.663,2
|
|
18.77,2
|
|
18.886,2
|
|
18.996,2
|
|
19.109,2
|
|
19.224,2
|
|
19.337,2
|
|
19.447,2
|
|
19.554,2
|
|
19.661,2
|
|
19.769,2
|
|
19.885,2
|
|
19.995,2
|
|
20.101,2
|
|
20.216,2
|
|
20.327,2
|
|
20.435,2
|
|
20.544,2
|
|
20.652,2
|
|
20.762,2
|
|
20.869,2
|
|
20.976,2
|
|
21.084,2
|
|
21.199,2
|
|
21.305,2
|
|
21.419,2
|
|
21.531,2
|
|
21.647,2
|
|
21.761,2
|
|
21.869,2
|
|
21.983,2
|
|
22.097,2
|
|
22.211,2
|
|
22.326,2
|
|
22.439,2
|
|
22.555,2
|
|
22.67,2
|
|
22.777,2
|
|
22.89,2
|
|
22.997,2
|
|
23.109,2
|
|
23.215,2
|
|
23.327,2
|
|
23.437,2
|
|
23.55,2
|
|
23.661,2
|
|
23.769,2
|
|
23.879,2
|
|
23.994,2
|
|
24.105,2
|
|
24.219,2
|
|
24.332,2
|
|
24.437,2
|
|
24.552,2
|
|
24.66,2
|
|
24.77,2
|
|
24.883,2
|
|
24.996,2
|
|
25.103,2
|
|
25.22,2
|
|
25.335,2
|
|
25.448,2
|
|
25.561,2
|
|
25.673,2
|
|
25.787,2
|
|
25.893,2
|
|
26.007,2
|
|
26.124,2
|
|
26.239,2
|
|
26.353,2
|
|
26.469,2
|
|
26.584,2
|
|
26.698,2
|
|
26.811,2
|
|
26.925,2
|
|
27.035,2
|
|
27.146,2
|
|
27.254,2
|
|
27.37,2
|
|
27.488,2
|
|
27.602,2
|
|
27.716,2
|
|
27.821,2
|
|
27.935,2
|
|
28.044,2
|
|
28.154,2
|
|
28.266,2
|
|
28.373,2
|
|
28.487,2
|
|
28.602,2
|
|
28.709,2
|
|
28.826,2
|
|
28.941,2
|
|
29.055,2
|
|
29.161,2
|
|
29.269,2
|
|
29.383,2
|
|
29.494,2
|
|
29.606,2
|
|
29.718,2
|
|
29.832,2
|
|
29.941,2
|
|
30.055,2
|
|
30.169,2
|
|
30.282,2
|
|
30.388,2
|
|
30.503,2
|
|
30.607,2
|
|
30.716,2
|
|
30.821,2
|
|
30.936,2
|
|
31.048,2
|
|
31.164,2
|
|
31.278,2
|
|
31.383,2
|
|
31.491,2
|
|
31.596,2
|
|
31.703,2
|
|
31.809,2
|
|
31.921,2
|
|
32.037,2
|
|
32.143,2
|
|
32.253,2
|
|
32.363,2
|
|
32.472,2
|
|
32.582,2
|
|
32.691,2
|
|
32.796,2
|
|
32.903,2
|
|
33.011,2
|
|
33.125,2
|
|
33.24,2
|
|
33.353,2
|
|
33.466,2
|
|
33.578,2
|
|
33.689,2
|
|
33.804,2
|
|
33.913,2
|
|
34.026,2
|
|
34.131,2
|
|
34.247,2
|
|
34.353,2
|
|
34.459,2
|
|
34.574,2
|
|
34.686,2
|
|
34.796,2
|
|
34.911,2
|
|
35.025,2
|
|
35.134,2
|
|
35.244,2
|
|
35.358,2
|
|
35.47,2
|
|
35.577,2
|
|
35.685,2
|
|
35.798,2
|
|
35.909,2
|
|
36.021,2
|
|
36.134,2
|
|
36.241,2
|
|
36.356,2
|
|
36.467,2
|
|
36.578,2
|
|
36.687,2
|
|
36.796,2
|
|
36.911,2
|
|
37.024,2
|
|
37.138,2
|
|
37.25,2
|
|
37.366,2
|
|
37.481,2
|
|
37.597,2
|
|
37.704,2
|
|
37.815,2
|
|
37.928,2
|
|
38.035,2
|
|
38.149,2
|
|
38.264,2
|
|
38.38,2
|
|
38.494,2
|
|
38.609,2
|
|
38.718,2
|
|
38.833,2
|
|
38.946,2
|
|
39.056,2
|
|
39.167,2
|
|
39.281,2
|
|
39.39,2
|
|
39.498,2
|
|
39.614,2
|
|
39.723,2
|
|
39.839,2
|
|
39.952,2
|
|
40.066,2
|
|
40.178,2
|
|
40.293,2
|
|
40.404,2
|
|
40.511,2
|
|
40.619,2
|
|
40.736,2
|
|
40.848,2
|
|
40.961,2
|
|
41.066,2
|
|
41.17,2
|
|
41.276,2
|
|
41.384,2
|
|
41.491,2
|
|
41.596,2
|
|
41.703,2
|
|
41.813,2
|
|
41.917,2
|
|
42.022,2
|
|
42.137,2
|
|
42.24,2
|
|
42.352,2
|
|
42.464,2
|
|
42.573,2
|
|
42.681,2
|
|
42.794,2
|
|
42.91,2
|
|
43.028,2
|
|
43.142,2
|
|
43.252,2
|
|
43.358,2
|
|
43.473,2
|
|
43.585,2
|
|
43.696,2
|
|
43.81,2
|
|
43.924,2
|
|
44.031,2
|
|
44.136,2
|
|
44.251,2
|
|
44.367,2
|
|
44.483,2
|
|
44.595,2
|
|
44.699,2
|
|
44.811,2
|
|
44.919,2
|
|
45.028,2
|
|
45.135,2
|
|
45.244,2
|
|
45.359,2
|
|
45.465,2
|
|
45.58,2
|
|
45.695,2
|
|
45.806,2
|
|
45.922,2
|
|
46.036,2
|
|
46.151,2
|
|
46.263,2
|
|
46.369,2
|
|
46.477,2
|
|
46.592,2
|
|
46.703,2
|
|
46.818,2
|
|
46.933,2
|
|
47.049,2
|
|
47.165,2
|
|
47.28,2
|
|
47.395,2
|
|
47.508,2
|
|
47.621,2
|
|
47.736,2
|
|
47.85,2
|
|
47.961,2
|
|
48.077,2
|
|
48.189,2
|
|
48.305,2
|
|
48.411,2
|
|
48.519,2
|
|
48.631,2
|
|
48.744,2
|
|
48.856,2
|
|
48.97,2
|
|
49.077,2
|
|
49.193,2
|
|
49.298,2
|
|
49.403,2
|
|
49.509,2
|
|
49.615,2
|
|
49.723,2
|
|
49.834,2
|
|
49.943,2
|
|
50.058,2
|
|
50.171,2
|
|
50.284,2
|
|
50.395,2
|
|
50.504,2
|
|
50.611,2
|
|
50.719,2
|
|
50.832,2
|
|
50.943,2
|
|
51.056,2
|
|
51.165,2
|
|
51.271,2
|
|
51.386,2
|
|
51.498,2
|
|
51.614,2
|
|
51.725,2
|
|
51.829,2
|
|
51.936,2
|
|
52.05,2
|
|
52.161,2
|
|
52.276,2
|
|
52.379,2
|
|
52.486,2
|
|
52.6,2
|
|
52.715,2
|
|
52.828,2
|
|
52.943,2
|
|
53.049,2
|
|
53.152,2
|
|
53.264,2
|
|
53.367,2
|
|
53.472,2
|
|
53.58,2
|
|
53.691,2
|
|
53.803,2
|
|
53.914,2
|
|
54.023,2
|
|
54.134,2
|
|
54.243,2
|
|
54.356,2
|
|
54.467,2
|
|
54.575,2
|
|
54.685,2
|
|
54.791,2
|
|
54.905,2
|
|
55.019,2
|
|
55.134,2
|
|
55.245,2
|
|
55.361,2
|
|
55.476,2
|
|
55.592,2
|
|
55.706,2
|
|
55.82,2
|
|
55.935,2
|
|
56.044,2
|
|
56.157,2
|
|
56.273,2
|
|
56.388,2
|
|
56.502,2
|
|
56.61,2
|
|
56.723,2
|
|
56.831,2
|
|
56.94,2
|
|
57.044,2
|
|
57.15,2
|
|
57.262,2
|
|
57.37,2
|
|
57.479,2
|
|
57.582,2
|
|
57.693,2
|
|
57.807,2
|
|
57.923,2
|
|
58.037,2
|
|
58.143,2
|
|
58.257,2
|
|
58.366,2
|
|
58.476,2
|
|
58.582,2
|
|
58.69,2
|
|
58.793,2
|
|
58.898,2
|
|
59.011,2
|
|
59.121,2
|
|
59.224,2
|
|
59.333,2
|
|
59.445,2
|
|
59.561,2
|
|
59.672,2
|
|
59.786,2
|
|
59.894,2
|
|
60.009,2
|
|
60.118,2
|
|
60.228,2
|
|
60.336,2
|
|
60.445,2
|
|
60.553,2
|
|
60.669,2
|
|
60.778,2
|
|
60.891,2
|
|
61.001,2
|
|
61.117,2
|
|
61.226,2
|
|
61.337,2
|
|
61.448,2
|
|
61.56,2
|
|
61.674,2
|
|
61.789,2
|
|
61.904,2
|
|
62.018,2
|
|
62.134,2
|
|
62.246,2
|
|
62.358,2
|
|
62.465,2
|
|
62.577,2
|
|
62.682,2
|
|
62.794,2
|
|
62.903,2
|
|
63.012,2
|
|
63.127,2
|
|
63.241,2
|
|
63.355,2
|
|
63.465,2
|
|
63.577,2
|
|
63.692,2
|
|
63.803,2
|
|
63.906,2
|
|
64.02,2
|
|
64.126,2
|
|
64.241,2
|
|
64.351,2
|
|
64.465,2
|
|
64.577,2
|
|
64.684,2
|
|
64.79,2
|
|
64.903,2
|
|
65.011,2
|
|
65.121,2
|
|
65.226,2
|
|
65.333,2
|
|
65.447,2
|
|
65.56,2
|
|
65.667,2
|
|
65.78,2
|
|
65.894,2
|
|
66.002,2
|
|
66.109,2
|
|
66.225,2
|
|
66.332,2
|
|
66.448,2
|
|
66.558,2
|
|
66.67,2
|
|
66.778,2
|
|
66.892,2
|
|
67.005,2
|
|
67.113,2
|
|
67.224,2
|
|
67.335,2
|
|
67.448,2
|
|
67.555,2
|
|
67.661,2
|
|
67.771,2
|
|
67.875,2
|
|
67.986,2
|
|
68.094,2
|
|
68.21,2
|
|
68.324,2
|
|
68.436,2
|
|
68.542,2
|
|
68.656,2
|
|
68.772,2
|
|
68.884,2
|
|
68.997,2
|
|
69.112,2
|
|
69.226,2
|
|
69.338,2
|
|
69.453,2
|
|
69.569,2
|
|
69.675,2
|
|
69.783,2
|
|
69.891,2
|
|
69.996,2
|
|
70.111,2
|
|
70.22,2
|
|
70.328,2
|
|
70.435,2
|
|
70.55,2
|
|
70.661,2
|
|
70.777,2
|
|
70.892,2
|
|
71.007,2
|
|
71.12,2
|
|
71.228,2
|
|
71.335,2
|
|
71.446,2
|
|
71.561,2
|
|
71.676,2
|
|
71.789,2
|
|
71.895,2
|
|
72.005,2
|
|
72.113,2
|
|
72.219,2
|
|
72.332,2
|
|
72.446,2
|
|
72.553,2
|
|
72.661,2
|
|
72.777,2
|
|
72.885,2
|
|
72.996,2
|
|
73.105,2
|
|
73.22,2
|
|
73.332,2
|
|
73.438,2
|
|
73.554,2
|
|
73.666,2
|
|
73.77,2
|
|
73.887,2
|
|
74.0,2
|
|
74.109,2
|
|
74.216,2
|
|
74.327,2
|
|
74.43,2
|
|
74.535,2
|
|
74.642,2
|
|
74.754,2
|
|
74.867,2
|
|
74.979,2
|
|
75.094,2
|
|
75.208,2
|
|
75.322,2
|
|
75.437,2
|