forked from mtusi2026/mtusi2026lab5
docs(report): record final clean fault matrix and measured pipeline invariants
This commit is contained in:
@@ -9,8 +9,9 @@ audited replay/newversion и safe retention cleanup.
|
||||
|
||||
Контракт и публичные tests сохранены. Запуск, схема, fault methodology,
|
||||
результаты и ответы защиты — REPORT.md/SCHEMA.md.112HTTP и22unit прошли;
|
||||
полный clean-clone repeat будет внесён перед сдачей. Промежуточные failed
|
||||
harness runs сохранены и не выданы за полный PASS.
|
||||
полный clean-clone-final PASS:19fault cases, cluster/rolling/persistence,
|
||||
real-age cleanup,6runtime source/OCI checks и fsck. Строгое pending-before-SIGKILL
|
||||
окно COMMIT→ACK подтверждено дважды. Промежуточные failed runs сохранены.
|
||||
|
||||
Ограничения: одинhost/SPOFs, нет production TLS/backup/global admission quota;
|
||||
HEAD не periodic byte audit; at-least-once с идемпотентным эффектом,
|
||||
|
||||
@@ -6,11 +6,13 @@ contracts/tests/check/validate сохранены. API принимает исх
|
||||
worker публикует original/thumbnail/crop/optimized. Исследование проверяет
|
||||
дубли, reorder и реальные SIGKILL, а не моделирует их ответами mock.
|
||||
|
||||
Результаты полного fault-injection и clean clone будут внесены после запуска.
|
||||
Промежуточный public smoke уже PASS; итоговые evidence ниже обновляются
|
||||
только фактическими командами. Первый запуск HTTP suite ошибочно обращался
|
||||
к порту предыдущей лабы; `http-initial-environment.json` честно отмечает
|
||||
INVALID_ENVIRONMENT, это не проверка корректности API.
|
||||
Полный повтор из чистого clone — **PASS**, проверенный runtime source
|
||||
`442163b0f0a549ef065cb13ee39b5ca2f8580c18`. Прошли112HTTP,22unit, public smoke,
|
||||
19fault cases, cluster/rolling/persistence и cleanup с настоящим возрастом S3.
|
||||
Raw receipt: [clean-clone-final.json](evidence/clean-clone-final.json).
|
||||
Предыдущие неполные запуски сохранены и разобраны ниже; ошибочный ранний
|
||||
HTTP-порт отмечен INVALID_ENVIRONMENT и не считается проверкой API.
|
||||
Удалённый CI отдельно не подтверждён.
|
||||
|
||||
## Воспроизведение
|
||||
|
||||
@@ -244,7 +246,7 @@ MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS и idempotency TTL документируют
|
||||
одним редактированием env: соответствующие constants/SQL надо менять согласованно.
|
||||
Secret *_FILE paths заданы в compose; значения создаёт bootstrap.
|
||||
|
||||
## Карта критериев и промежуточные результаты
|
||||
## Карта критериев и история проверок
|
||||
|
||||
| Уровень / требование | Реализация / автоматическая проверка |
|
||||
| --- | --- |
|
||||
@@ -255,7 +257,7 @@ Secret *_FILE paths заданы в compose; значения создаёт boo
|
||||
| 4:crop/optimized/metadata removal | HTTP geometry/EXIF/alpha +22 unit tests |
|
||||
| 4:outbox gap и publisher crash | API COMMIT-before-publish и relay XADD-before-PG-marker |
|
||||
| 4:finite backoff/permanent/transient/replay |5attempt exhaustion, timeout, failed registry, audit, ready replay rejection |
|
||||
| 4:crash после PUT доACK, lease, bounded slots | before_effect/after_effect/after_commit ×2; live state/actual limits проверяются в полном повторе |
|
||||
| 4:crash после PUT доACK, lease, bounded slots | before_effect/after_effect/after_commit ×2; live state/actual limits подтверждены clean-clone-final |
|
||||
| 4:cleanup после фиксации/retention | verify_cleanup seed/verify, реальныйS3возраст, dry/apply/repeat |
|
||||
| 5:versioned idempotency track | duplicates/reorder и held stalev1→v2×2, no old publication/hash change |
|
||||
|
||||
@@ -276,8 +278,8 @@ V2 была ready, но parent успел убитьv1; это ещё не до
|
||||
живого окна. [pipeline-versions-first.json](evidence/pipeline-versions-first.json)
|
||||
— **scope=versions**,4cases PASS:2version races, malformed notification,
|
||||
private/IAM/otherAPI. Это целевой повтор, а не19cases полного matrix.
|
||||
Приложение в этих исправлениях harness не менялось; полный clean clone обязан
|
||||
завершить scope=all, включая более строгие ACK/live-state/resource assertions.
|
||||
Приложение в этих исправлениях harness не менялось. Финальный clean clone
|
||||
завершил scope=all, включая строгие ACK/live-state/resource assertions.
|
||||
|
||||
[evidence/gc-first.json](evidence/gc-first.json): реальный возраст orphan
|
||||
1279.103s (выше300s); dry-run сохранил bytes, apply удалил expired objects,
|
||||
@@ -319,4 +321,84 @@ Reclaim idle теперь равен lease(23s normal/15s test), превыша
|
||||
снимком XPENDING+XRANGE подтверждает конкретные job entries доSIGKILL и
|
||||
отсутствие child_finished; после restart требует ready duplicate decision
|
||||
и исчезновение notifications. Scope=all, данные и все прежние assertions
|
||||
сохранены. Финальным доказательством станет clean-clone-final.json.
|
||||
сохранены. Финальное доказательство — clean-clone-final.json (PASS).
|
||||
|
||||
## Финальный результат из чистого clone
|
||||
|
||||
Дата запуска UTC: 2026-11-15T20:48:55.825623+00:00. Source: `442163b0f0a549ef065cb13ee39b5ca2f8580c18`.
|
||||
Последующие изменения отчёта/evidence не меняют исполняемые исходники.
|
||||
Host: Apple M1, 8CPU, 8GiB RAM; Docker VM около6GiB RAM. Лимиты
|
||||
контейнеров перечислены выше и сохранены в cluster runtime snapshots.
|
||||
Новые secrets/env/volumes, отдельный image/project/port; после проверки
|
||||
удалён только временный проект. Основные данные сохранены.
|
||||
|
||||
HTTP: `112 passed in 397.50s (0:06:37)`. Unit:22PASS; public smoke,
|
||||
check/validate/lint, git fsck и сверка SHA каждого src/*.py с OCI revision
|
||||
всех6контейнеров (2API/worker/relay/reconciler/controller) — PASS.
|
||||
|
||||
| Сценарий | Итоговые jobs: version/state/attempt/cycle/fence | Publications | Rows/keys |
|
||||
| --- | --- | --- | --- |
|
||||
| staging_before_handoff_crash | см. raw assertions | — | — |
|
||||
| commit_before_publish_and_worker_stopped | v1/ready/1/1/1 | 1 | 4/4 |
|
||||
| confirmed_broker_entry_survives_sigkill | v1/ready/1/1/1 | 1 | 4/4 |
|
||||
| relay_crash_after_xadd_before_pg_marker | v1/ready/1/1/1 | 1 | 4/4 |
|
||||
| before_effect_sigkill_repeat_1 | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| after_effect_sigkill_repeat_1 | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| after_commit_sigkill_repeat_1 | v1/ready/1/1/1 | 1 | 4/4 |
|
||||
| before_effect_sigkill_repeat_2 | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| after_effect_sigkill_repeat_2 | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| after_commit_sigkill_repeat_2 | v1/ready/1/1/1 | 1 | 4/4 |
|
||||
| transient_retry_with_jitter | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| hung_child_killed_and_retried | v1/ready/2/1/3 | 1 | 4/4 |
|
||||
| permanent_failed_registry_and_audited_replay | v1/ready/1/2/4 | 1 | 4/4 |
|
||||
| finite_retry_exhaustion_then_explicit_replay | v1/ready/1/2/12 | 1 | 4/4 |
|
||||
| reordered_and_duplicate_notifications | v1/ready/1/1/1; v1/ready/1/1/1 | 1; 1 | 4/4; 4/4 |
|
||||
| stale_v1_after_v2_repeat_1 | v1/obsolete/1/1/2; v2/ready/1/1/1 | 0; 1 | 0/4; 4/4 |
|
||||
| stale_v1_after_v2_repeat_2 | v1/obsolete/1/1/2; v2/ready/1/1/1 | 0; 1 | 0/4; 4/4 |
|
||||
| malformed_notification_rejected | см. raw assertions | — | — |
|
||||
| private_iam_and_other_api_download | см. raw assertions | — | — |
|
||||
|
||||
Полные UUID/attempts/fences/events/checksums — в
|
||||
[pipeline-final.json](evidence/pipeline-final.json) и
|
||||
[effects.csv](evidence/pipeline-analysis-final/effects.csv).
|
||||
|
||||
Строгие COMMIT→ACK snapshots перед SIGKILL:
|
||||
|
||||
- `after_commit_sigkill_repeat_1`: job `efd4aa67-b47e-462f-8e86-614c5dbb8a17`, pending entries `1794776649599-0`; ready/publication1, child_finished отсутствует.
|
||||
- `after_commit_sigkill_repeat_2`: job `c422c6de-4c05-43ea-b748-e4ff856a70c8`, pending entries `1794776766791-0`; ready/publication1, child_finished отсутствует.
|
||||
|
||||
После restart оба сценария дождались duplicate_decision(state=ready) и
|
||||
отсутствия job notifications в stream (ACK+XDEL), без нового resize.
|
||||
Два held stalev1 действительно дошли до stale_completion_rejected после
|
||||
readyv2; уv1 ноль publications, hashes всех4currentv2 не изменились.
|
||||
|
||||
Агрегация: 17 ready observations — каждое с1publication,4rows/4keys;
|
||||
2 obsolete observations — с0publications. Это конечные наблюдения
|
||||
синтетической матрицы, а не формальное доказательство для всех возможных расписаний.
|
||||
|
||||

|
||||
|
||||
15 successful child samples: callback elapsed 0.2563–0.4592s,
|
||||
CPU 0.2274–0.3770s, peakRSS 79.12–79.59MiB.
|
||||
Elapsed/CPU измеряют тело callback и не включают spawn/import до него; RSS
|
||||
учитывает startup процесса. Убитые child не входят в successful samples.
|
||||
Это не queue lag, p95 до ready или throughput/SLA. Фактические лимиты
|
||||
наблюдал сам child: RLIMIT_AS soft/hard805306368bytes, cgroup memory.max
|
||||
1610612736bytes; CPU quota — в observed_limits raw case.
|
||||
|
||||
Cluster failovers (confirmed writes / transient errors / recovery seconds):
|
||||
|
||||
- 202 / 10 / 4.776s; confirmed data preserved, duplicate texts отсутствуют.
|
||||
- 218 / 8 / 2.971s; confirmed data preserved, duplicate texts отсутствуют.
|
||||
|
||||
Rolling: 739 confirmed writes, 45 transient errors;
|
||||
исходные API CID заменены, replay и данные сохранены. Public failover и
|
||||
persistence с прежними token/file прошли; StartedAt хранилищ изменился.
|
||||
Кратковременные ошибки учитываются, zero-error rolling не заявлен.
|
||||
|
||||
Cleanup: реальный возраст S3 orphan 754.765s;
|
||||
dry-run 10actions без изменения bytes; apply 10actions;
|
||||
repeat0actions. Active/current/fresh и действующий reservation защищены,
|
||||
expired source replay отвергнут, expired writer fenced. Возраст fixture
|
||||
metadata менялся SQL отдельно; S3 LastModified не подменялся.
|
||||
Raw: [cleanup-final.json](evidence/cleanup-final.json).
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,159 @@
|
||||
{
|
||||
"source_commit": "442163b0f0a549ef065cb13ee39b5ca2f8580c18",
|
||||
"seed": "clean-gc-seed.json",
|
||||
"complete": true,
|
||||
"real_s3_age_seconds": 754.765394,
|
||||
"dry_run": {
|
||||
"apply": false,
|
||||
"retention_seconds": 300,
|
||||
"actions": [
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/651d13cc-9ebf-43f9-96bb-4da43041232a/original",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/a705c027-cdd8-4c13-a75a-8dd8057d4f46/original",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original",
|
||||
"applied": false
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/dd1bf2f6-52ee-4f4c-b1ae-92b69ea682e6/original",
|
||||
"applied": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"apply": {
|
||||
"apply": true,
|
||||
"retention_seconds": 300,
|
||||
"actions": [
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/651d13cc-9ebf-43f9-96bb-4da43041232a/original",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/a705c027-cdd8-4c13-a75a-8dd8057d4f46/original",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original",
|
||||
"applied": true
|
||||
},
|
||||
{
|
||||
"action": "delete_expired_object",
|
||||
"key": "objects/staging/dd1bf2f6-52ee-4f4c-b1ae-92b69ea682e6/original",
|
||||
"applied": true
|
||||
}
|
||||
]
|
||||
},
|
||||
"repeat": {
|
||||
"apply": true,
|
||||
"retention_seconds": 300,
|
||||
"actions": []
|
||||
},
|
||||
"before": {
|
||||
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan": true,
|
||||
"objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original": true,
|
||||
"objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized": true,
|
||||
"objects/staging/8f2a0358-fe4e-4992-af51-9a95ad638e80/original": true,
|
||||
"objects/staging/6e60a745-ad14-4270-97f1-b74b91d5e365/original": true,
|
||||
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/fresh-orphan": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/original": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/thumbnail": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/crop": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/optimized": true
|
||||
},
|
||||
"after": {
|
||||
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/old-orphan": false,
|
||||
"objects/staging/7156ee96-6a61-431a-8aea-6e44402aca80/original": false,
|
||||
"objects/staging/c55c3fd6-958b-4baf-b436-8cee3f228e18/original": false,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/original": false,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/thumbnail": false,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/crop": false,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v1/optimized": false,
|
||||
"objects/staging/8f2a0358-fe4e-4992-af51-9a95ad638e80/original": true,
|
||||
"objects/staging/6e60a745-ad14-4270-97f1-b74b91d5e365/original": true,
|
||||
"objects/cleanup-7ae8cd5f0fbb42a9a73b5dc31f301db7/fresh-orphan": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/original": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/thumbnail": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/crop": true,
|
||||
"objects/9b3d09db-c441-4a25-b976-567cb8c8e75e/v2/optimized": true
|
||||
},
|
||||
"dry_run_unchanged": true,
|
||||
"active_current_and_fresh_protected": true,
|
||||
"expired_source_replay_refused": true,
|
||||
"expired_writer_fenced": true
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
case,role,job_id,version,attempt,cycle,fence,state,publications,variant_rows,physical_keys
|
||||
commit_before_publish_and_worker_stopped,effect,3e2eccd9-713d-4982-a025-5537b66c114c,1,1,1,1,ready,1,4,4
|
||||
confirmed_broker_entry_survives_sigkill,effect,5747edc1-9de6-40ba-a143-85ded56744d1,1,1,1,1,ready,1,4,4
|
||||
relay_crash_after_xadd_before_pg_marker,effect,2177d978-9a49-4856-a9e9-6211e94e9246,1,1,1,1,ready,1,4,4
|
||||
before_effect_sigkill_repeat_1,effect,3f046f7c-825f-446f-bf52-07e4cd7e330b,1,2,1,3,ready,1,4,4
|
||||
after_effect_sigkill_repeat_1,effect,64d6ff0c-6a0d-4596-8e70-ffbd66a38fc0,1,2,1,3,ready,1,4,4
|
||||
after_commit_sigkill_repeat_1,effect,efd4aa67-b47e-462f-8e86-614c5dbb8a17,1,1,1,1,ready,1,4,4
|
||||
before_effect_sigkill_repeat_2,effect,6eacee3c-6b6b-4435-bd05-bb50c29df24f,1,2,1,3,ready,1,4,4
|
||||
after_effect_sigkill_repeat_2,effect,0d40fa0a-e6b9-49cb-907d-e82faa346906,1,2,1,3,ready,1,4,4
|
||||
after_commit_sigkill_repeat_2,effect,c422c6de-4c05-43ea-b748-e4ff856a70c8,1,1,1,1,ready,1,4,4
|
||||
transient_retry_with_jitter,effect,00893137-7e67-434b-8764-5c85ed5353d2,1,2,1,3,ready,1,4,4
|
||||
hung_child_killed_and_retried,effect,eefeceb7-6e35-4358-bbac-772170b964fa,1,2,1,3,ready,1,4,4
|
||||
permanent_failed_registry_and_audited_replay,effect,88929609-e34a-4b5f-ad36-ffce561ebde8,1,1,2,4,ready,1,4,4
|
||||
finite_retry_exhaustion_then_explicit_replay,effect,b6e323c3-3e4a-45fd-a4a5-709094e97485,1,1,2,12,ready,1,4,4
|
||||
reordered_and_duplicate_notifications,1,e7f4c924-cb49-40a5-b15b-b5bd8b3bd401,1,1,1,1,ready,1,4,4
|
||||
reordered_and_duplicate_notifications,2,108ade45-7571-4362-92d5-bde3c6232fe9,1,1,1,1,ready,1,4,4
|
||||
stale_v1_after_v2_repeat_1,v1,bc562c08-8221-4f9d-b5ff-890d16987495,1,1,1,2,obsolete,0,0,4
|
||||
stale_v1_after_v2_repeat_1,v2,75ceffdc-919b-4f92-96c4-2e0c775850d7,2,1,1,1,ready,1,4,4
|
||||
stale_v1_after_v2_repeat_2,v1,61e16816-661d-46bd-882e-80cc1cab86dd,1,1,1,2,obsolete,0,0,4
|
||||
stale_v1_after_v2_repeat_2,v2,6d569c1e-c44c-4b65-a49d-ae731029270a,2,1,1,1,ready,1,4,4
|
||||
|
Binary file not shown.
|
After Width: | Height: | Size: 66 KiB |
@@ -0,0 +1,22 @@
|
||||
{
|
||||
"source_commit": "442163b0f0a549ef065cb13ee39b5ca2f8580c18",
|
||||
"cases": 19,
|
||||
"observed_ready_effects": 17,
|
||||
"observed_obsolete_effects": 2,
|
||||
"all_ready_have_one_publication_and_four_variants": true,
|
||||
"all_obsolete_have_zero_publications": true,
|
||||
"successful_child_samples": 15,
|
||||
"child_elapsed_range_seconds": [
|
||||
0.2563110829996731,
|
||||
0.4591874589996223
|
||||
],
|
||||
"child_cpu_range_seconds": [
|
||||
0.22742345900000016,
|
||||
0.37699009000000006
|
||||
],
|
||||
"child_peak_rss_range_mib": [
|
||||
79.125,
|
||||
79.5859375
|
||||
],
|
||||
"scope": "process self metrics, no queue lag or throughput claim; fault-free and retry children only where a result was returned"
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user