docs(report): record final clean fault matrix and measured pipeline invariants

This commit is contained in:
2026-11-16 00:15:46 +03:00
parent 442163b0f0
commit 8c3d4bcaa5
8 changed files with 13386 additions and 12 deletions
+3 -2
View File
@@ -9,8 +9,9 @@ audited replay/newversion и safe retention cleanup.
Контракт и публичные tests сохранены. Запуск, схема, fault methodology,
результаты и ответы защиты — REPORT.md/SCHEMA.md.112HTTP и22unit прошли;
полный clean-clone repeat будет внесён перед сдачей. Промежуточные failed
harness runs сохранены и не выданы за полный PASS.
полный clean-clone-final PASS:19fault cases, cluster/rolling/persistence,
real-age cleanup,6runtime source/OCI checks и fsck. Строгое pending-before-SIGKILL
окно COMMIT→ACK подтверждено дважды. Промежуточные failed runs сохранены.
Ограничения: одинhost/SPOFs, нет production TLS/backup/global admission quota;
HEAD не periodic byte audit; at-least-once с идемпотентным эффектом,
+92 -10
View File
@@ -6,11 +6,13 @@ contracts/tests/check/validate сохранены. API принимает исх
worker публикует original/thumbnail/crop/optimized. Исследование проверяет
дубли, reorder и реальные SIGKILL, а не моделирует их ответами mock.
Результаты полного fault-injection и clean clone будут внесены после запуска.
Промежуточный public smoke уже PASS; итоговые evidence ниже обновляются
только фактическими командами. Первый запуск HTTP suite ошибочно обращался
к порту предыдущей лабы; `http-initial-environment.json` честно отмечает
INVALID_ENVIRONMENT, это не проверка корректности API.
Полный повтор из чистого clone — **PASS**, проверенный runtime source
`442163b0f0a549ef065cb13ee39b5ca2f8580c18`. Прошли112HTTP,22unit, public smoke,
19fault cases, cluster/rolling/persistence и cleanup с настоящим возрастом S3.
Raw receipt: [clean-clone-final.json](evidence/clean-clone-final.json).
Предыдущие неполные запуски сохранены и разобраны ниже; ошибочный ранний
HTTP-порт отмечен INVALID_ENVIRONMENT и не считается проверкой API.
Удалённый CI отдельно не подтверждён.
## Воспроизведение
@@ -244,7 +246,7 @@ MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS и idempotency TTL документируют
одним редактированием env: соответствующие constants/SQL надо менять согласованно.
Secret *_FILE paths заданы в compose; значения создаёт bootstrap.
## Карта критериев и промежуточные результаты
## Карта критериев и история проверок
| Уровень / требование | Реализация / автоматическая проверка |
| --- | --- |
@@ -255,7 +257,7 @@ Secret *_FILE paths заданы в compose; значения создаёт boo
| 4:crop/optimized/metadata removal | HTTP geometry/EXIF/alpha +22 unit tests |
| 4:outbox gap и publisher crash | API COMMIT-before-publish и relay XADD-before-PG-marker |
| 4:finite backoff/permanent/transient/replay |5attempt exhaustion, timeout, failed registry, audit, ready replay rejection |
| 4:crash после PUT доACK, lease, bounded slots | before_effect/after_effect/after_commit ×2; live state/actual limits проверяются в полном повторе |
| 4:crash после PUT доACK, lease, bounded slots | before_effect/after_effect/after_commit ×2; live state/actual limits подтверждены clean-clone-final |
| 4:cleanup после фиксации/retention | verify_cleanup seed/verify, реальныйS3возраст, dry/apply/repeat |
| 5:versioned idempotency track | duplicates/reorder и held stalev1→v2×2, no old publication/hash change |
@@ -276,8 +278,8 @@ V2 была ready, но parent успел убитьv1; это ещё не до
живого окна. [pipeline-versions-first.json](evidence/pipeline-versions-first.json)
— **scope=versions**,4cases PASS:2version races, malformed notification,
private/IAM/otherAPI. Это целевой повтор, а не19cases полного matrix.
Приложение в этих исправлениях harness не менялось; полный clean clone обязан
завершить scope=all, включая более строгие ACK/live-state/resource assertions.
Приложение в этих исправлениях harness не менялось. Финальный clean clone
завершил scope=all, включая строгие ACK/live-state/resource assertions.
[evidence/gc-first.json](evidence/gc-first.json): реальный возраст orphan
1279.103s (выше300s); dry-run сохранил bytes, apply удалил expired objects,
@@ -319,4 +321,84 @@ Reclaim idle теперь равен lease(23s normal/15s test), превыша
снимком XPENDING+XRANGE подтверждает конкретные job entries доSIGKILL и
отсутствие child_finished; после restart требует ready duplicate decision
и исчезновение notifications. Scope=all, данные и все прежние assertions
сохранены. Финальным доказательством станет clean-clone-final.json.
сохранены. Финальное доказательство — clean-clone-final.json (PASS).
## Финальный результат из чистого clone
Дата запуска UTC: 2026-11-15T20:48:55.825623+00:00. Source: `442163b0f0a549ef065cb13ee39b5ca2f8580c18`.
Последующие изменения отчёта/evidence не меняют исполняемые исходники.
Host: Apple M1, 8CPU, 8GiB RAM; Docker VM около6GiB RAM. Лимиты
контейнеров перечислены выше и сохранены в cluster runtime snapshots.
Новые secrets/env/volumes, отдельный image/project/port; после проверки
удалён только временный проект. Основные данные сохранены.
HTTP: `112 passed in 397.50s (0:06:37)`. Unit:22PASS; public smoke,
check/validate/lint, git fsck и сверка SHA каждого src/*.py с OCI revision
всех6контейнеров (2API/worker/relay/reconciler/controller) — PASS.
| Сценарий | Итоговые jobs: version/state/attempt/cycle/fence | Publications | Rows/keys |
| --- | --- | --- | --- |
| staging_before_handoff_crash | см. raw assertions | — | — |
| commit_before_publish_and_worker_stopped | v1/ready/1/1/1 | 1 | 4/4 |
| confirmed_broker_entry_survives_sigkill | v1/ready/1/1/1 | 1 | 4/4 |
| relay_crash_after_xadd_before_pg_marker | v1/ready/1/1/1 | 1 | 4/4 |
| before_effect_sigkill_repeat_1 | v1/ready/2/1/3 | 1 | 4/4 |
| after_effect_sigkill_repeat_1 | v1/ready/2/1/3 | 1 | 4/4 |
| after_commit_sigkill_repeat_1 | v1/ready/1/1/1 | 1 | 4/4 |
| before_effect_sigkill_repeat_2 | v1/ready/2/1/3 | 1 | 4/4 |
| after_effect_sigkill_repeat_2 | v1/ready/2/1/3 | 1 | 4/4 |
| after_commit_sigkill_repeat_2 | v1/ready/1/1/1 | 1 | 4/4 |
| transient_retry_with_jitter | v1/ready/2/1/3 | 1 | 4/4 |
| hung_child_killed_and_retried | v1/ready/2/1/3 | 1 | 4/4 |
| permanent_failed_registry_and_audited_replay | v1/ready/1/2/4 | 1 | 4/4 |
| finite_retry_exhaustion_then_explicit_replay | v1/ready/1/2/12 | 1 | 4/4 |
| reordered_and_duplicate_notifications | v1/ready/1/1/1; v1/ready/1/1/1 | 1; 1 | 4/4; 4/4 |
| stale_v1_after_v2_repeat_1 | v1/obsolete/1/1/2; v2/ready/1/1/1 | 0; 1 | 0/4; 4/4 |
| stale_v1_after_v2_repeat_2 | v1/obsolete/1/1/2; v2/ready/1/1/1 | 0; 1 | 0/4; 4/4 |
| malformed_notification_rejected | см. raw assertions | — | — |
| private_iam_and_other_api_download | см. raw assertions | — | — |
Полные UUID/attempts/fences/events/checksums — в
[pipeline-final.json](evidence/pipeline-final.json) и
[effects.csv](evidence/pipeline-analysis-final/effects.csv).
Строгие COMMIT→ACK snapshots перед SIGKILL:
- `after_commit_sigkill_repeat_1`: job `efd4aa67-b47e-462f-8e86-614c5dbb8a17`, pending entries `1794776649599-0`; ready/publication1, child_finished отсутствует.
- `after_commit_sigkill_repeat_2`: job `c422c6de-4c05-43ea-b748-e4ff856a70c8`, pending entries `1794776766791-0`; ready/publication1, child_finished отсутствует.
После restart оба сценария дождались duplicate_decision(state=ready) и
отсутствия job notifications в stream (ACK+XDEL), без нового resize.
Два held stalev1 действительно дошли до stale_completion_rejected после
readyv2; уv1 ноль publications, hashes всех4currentv2 не изменились.
Агрегация: 17 ready observations — каждое с1publication,4rows/4keys;
2 obsolete observations — с0publications. Это конечные наблюдения
синтетической матрицы, а не формальное доказательство для всех возможных расписаний.
![Measured pipeline invariants and resource samples](evidence/pipeline-analysis-final/pipeline-results.png)
15 successful child samples: callback elapsed 0.2563–0.4592s,
CPU 0.2274–0.3770s, peakRSS 79.12–79.59MiB.
Elapsed/CPU измеряют тело callback и не включают spawn/import до него; RSS
учитывает startup процесса. Убитые child не входят в successful samples.
Это не queue lag, p95 до ready или throughput/SLA. Фактические лимиты
наблюдал сам child: RLIMIT_AS soft/hard805306368bytes, cgroup memory.max
1610612736bytes; CPU quota — в observed_limits raw case.
Cluster failovers (confirmed writes / transient errors / recovery seconds):
- 202 / 10 / 4.776s; confirmed data preserved, duplicate texts отсутствуют.
- 218 / 8 / 2.971s; confirmed data preserved, duplicate texts отсутствуют.
Rolling: 739 confirmed writes, 45 transient errors;
исходные API CID заменены, replay и данные сохранены. Public failover и
persistence с прежними token/file прошли; StartedAt хранилищ изменился.
Кратковременные ошибки учитываются, zero-error rolling не заявлен.
Cleanup: реальный возраст S3 orphan 754.765s;
dry-run 10actions без изменения bytes; apply 10actions;
repeat0actions. Active/current/fresh и действующий reservation защищены,
expired source replay отвергнут, expired writer fenced. Возраст fixture
metadata менялся SQL отдельно; S3 LastModified не подменялся.
Raw: [cleanup-final.json](evidence/cleanup-final.json).
File diff suppressed because it is too large Load Diff
+159
View File
@@ -0,0 +1,159 @@
{
"source_commit": "442163b0f0a549ef065cb13ee39b5ca2f8580c18",
"seed": "clean-gc-seed.json",
"complete": true,
"real_s3_age_seconds": 754.765394,
"dry_run": {
"apply": false,
"retention_seconds": 300,
"actions": [
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/staging/651d13cc-9ebf-43f9-96bb-4da43041232a/original",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/staging/a705c027-cdd8-4c13-a75a-8dd8057d4f46/original",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original",
"applied": false
},
{
"action": "delete_expired_object",
"key": "objects/staging/dd1bf2f6-52ee-4f4c-b1ae-92b69ea682e6/original",
"applied": false
}
]
},
"apply": {
"apply": true,
"retention_seconds": 300,
"actions": [
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/staging/651d13cc-9ebf-43f9-96bb-4da43041232a/original",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/staging/a705c027-cdd8-4c13-a75a-8dd8057d4f46/original",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original",
"applied": true
},
{
"action": "delete_expired_object",
"key": "objects/staging/dd1bf2f6-52ee-4f4c-b1ae-92b69ea682e6/original",
"applied": true
}
]
},
"repeat": {
"apply": true,
"retention_seconds": 300,
"actions": []
},
"before": {
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan": true,
"objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original": true,
"objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized": true,
"objects/staging/8f2a0358-fe4e-4992-af51-9a95ad638e80/original": true,
"objects/staging/6e60a745-ad14-4270-97f1-b74b91d5e365/original": true,
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/fresh-orphan": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/original": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/thumbnail": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/crop": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/optimized": true
},
"after": {
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan": false,
"objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original": false,
"objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original": false,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original": false,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail": false,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop": false,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized": false,
"objects/staging/8f2a0358-fe4e-4992-af51-9a95ad638e80/original": true,
"objects/staging/6e60a745-ad14-4270-97f1-b74b91d5e365/original": true,
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/fresh-orphan": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/original": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/thumbnail": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/crop": true,
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/optimized": true
},
"dry_run_unchanged": true,
"active_current_and_fresh_protected": true,
"expired_source_replay_refused": true,
"expired_writer_fenced": true
}
@@ -0,0 +1,20 @@
case,role,job_id,version,attempt,cycle,fence,state,publications,variant_rows,physical_keys
commit_before_publish_and_worker_stopped,effect,3e2eccd9-713d-4982-a025-5537b66c114c,1,1,1,1,ready,1,4,4
confirmed_broker_entry_survives_sigkill,effect,5747edc1-9de6-40ba-a143-85ded56744d1,1,1,1,1,ready,1,4,4
relay_crash_after_xadd_before_pg_marker,effect,2177d978-9a49-4856-a9e9-6211e94e9246,1,1,1,1,ready,1,4,4
before_effect_sigkill_repeat_1,effect,3f046f7c-825f-446f-bf52-07e4cd7e330b,1,2,1,3,ready,1,4,4
after_effect_sigkill_repeat_1,effect,64d6ff0c-6a0d-4596-8e70-ffbd66a38fc0,1,2,1,3,ready,1,4,4
after_commit_sigkill_repeat_1,effect,efd4aa67-b47e-462f-8e86-614c5dbb8a17,1,1,1,1,ready,1,4,4
before_effect_sigkill_repeat_2,effect,6eacee3c-6b6b-4435-bd05-bb50c29df24f,1,2,1,3,ready,1,4,4
after_effect_sigkill_repeat_2,effect,0d40fa0a-e6b9-49cb-907d-e82faa346906,1,2,1,3,ready,1,4,4
after_commit_sigkill_repeat_2,effect,c422c6de-4c05-43ea-b748-e4ff856a70c8,1,1,1,1,ready,1,4,4
transient_retry_with_jitter,effect,00893137-7e67-434b-8764-5c85ed5353d2,1,2,1,3,ready,1,4,4
hung_child_killed_and_retried,effect,eefeceb7-6e35-4358-bbac-772170b964fa,1,2,1,3,ready,1,4,4
permanent_failed_registry_and_audited_replay,effect,88929609-e34a-4b5f-ad36-ffce561ebde8,1,1,2,4,ready,1,4,4
finite_retry_exhaustion_then_explicit_replay,effect,b6e323c3-3e4a-45fd-a4a5-709094e97485,1,1,2,12,ready,1,4,4
reordered_and_duplicate_notifications,1,e7f4c924-cb49-40a5-b15b-b5bd8b3bd401,1,1,1,1,ready,1,4,4
reordered_and_duplicate_notifications,2,108ade45-7571-4362-92d5-bde3c6232fe9,1,1,1,1,ready,1,4,4
stale_v1_after_v2_repeat_1,v1,bc562c08-8221-4f9d-b5ff-890d16987495,1,1,1,2,obsolete,0,0,4
stale_v1_after_v2_repeat_1,v2,75ceffdc-919b-4f92-96c4-2e0c775850d7,2,1,1,1,ready,1,4,4
stale_v1_after_v2_repeat_2,v1,61e16816-661d-46bd-882e-80cc1cab86dd,1,1,1,2,obsolete,0,0,4
stale_v1_after_v2_repeat_2,v2,6d569c1e-c44c-4b65-a49d-ae731029270a,2,1,1,1,ready,1,4,4
1 case role job_id version attempt cycle fence state publications variant_rows physical_keys
2 commit_before_publish_and_worker_stopped effect 3e2eccd9-713d-4982-a025-5537b66c114c 1 1 1 1 ready 1 4 4
3 confirmed_broker_entry_survives_sigkill effect 5747edc1-9de6-40ba-a143-85ded56744d1 1 1 1 1 ready 1 4 4
4 relay_crash_after_xadd_before_pg_marker effect 2177d978-9a49-4856-a9e9-6211e94e9246 1 1 1 1 ready 1 4 4
5 before_effect_sigkill_repeat_1 effect 3f046f7c-825f-446f-bf52-07e4cd7e330b 1 2 1 3 ready 1 4 4
6 after_effect_sigkill_repeat_1 effect 64d6ff0c-6a0d-4596-8e70-ffbd66a38fc0 1 2 1 3 ready 1 4 4
7 after_commit_sigkill_repeat_1 effect efd4aa67-b47e-462f-8e86-614c5dbb8a17 1 1 1 1 ready 1 4 4
8 before_effect_sigkill_repeat_2 effect 6eacee3c-6b6b-4435-bd05-bb50c29df24f 1 2 1 3 ready 1 4 4
9 after_effect_sigkill_repeat_2 effect 0d40fa0a-e6b9-49cb-907d-e82faa346906 1 2 1 3 ready 1 4 4
10 after_commit_sigkill_repeat_2 effect c422c6de-4c05-43ea-b748-e4ff856a70c8 1 1 1 1 ready 1 4 4
11 transient_retry_with_jitter effect 00893137-7e67-434b-8764-5c85ed5353d2 1 2 1 3 ready 1 4 4
12 hung_child_killed_and_retried effect eefeceb7-6e35-4358-bbac-772170b964fa 1 2 1 3 ready 1 4 4
13 permanent_failed_registry_and_audited_replay effect 88929609-e34a-4b5f-ad36-ffce561ebde8 1 1 2 4 ready 1 4 4
14 finite_retry_exhaustion_then_explicit_replay effect b6e323c3-3e4a-45fd-a4a5-709094e97485 1 1 2 12 ready 1 4 4
15 reordered_and_duplicate_notifications 1 e7f4c924-cb49-40a5-b15b-b5bd8b3bd401 1 1 1 1 ready 1 4 4
16 reordered_and_duplicate_notifications 2 108ade45-7571-4362-92d5-bde3c6232fe9 1 1 1 1 ready 1 4 4
17 stale_v1_after_v2_repeat_1 v1 bc562c08-8221-4f9d-b5ff-890d16987495 1 1 1 2 obsolete 0 0 4
18 stale_v1_after_v2_repeat_1 v2 75ceffdc-919b-4f92-96c4-2e0c775850d7 2 1 1 1 ready 1 4 4
19 stale_v1_after_v2_repeat_2 v1 61e16816-661d-46bd-882e-80cc1cab86dd 1 1 1 2 obsolete 0 0 4
20 stale_v1_after_v2_repeat_2 v2 6d569c1e-c44c-4b65-a49d-ae731029270a 2 1 1 1 ready 1 4 4
Binary file not shown.

After

Width:  |  Height:  |  Size: 66 KiB

@@ -0,0 +1,22 @@
{
"source_commit": "442163b0f0a549ef065cb13ee39b5ca2f8580c18",
"cases": 19,
"observed_ready_effects": 17,
"observed_obsolete_effects": 2,
"all_ready_have_one_publication_and_four_variants": true,
"all_obsolete_have_zero_publications": true,
"successful_child_samples": 15,
"child_elapsed_range_seconds": [
0.2563110829996731,
0.4591874589996223
],
"child_cpu_range_seconds": [
0.22742345900000016,
0.37699009000000006
],
"child_peak_rss_range_mib": [
79.125,
79.5859375
],
"scope": "process self metrics, no queue lag or throughput claim; fault-free and retry children only where a result was returned"
}
File diff suppressed because it is too large Load Diff