7.1 KiB
Исследование: уровень 5, трек 2
Гипотеза и инварианты
Версионирование результатов, transactional outbox, блокировки PostgreSQL и повторяемые ключи S3 позволяют завершать принятые задачи при at-least-once доставке без дополнительных наборов вариантов и перезаписи нового результата старым.
Инварианты проверяются assertions: каждый проверяемый upload с 202 завершается ready; оригинал побайтно совпадает с принятым; у текущей версии ровно четыре объекта; метаданные и SHA-256 каждого варианта соответствуют скачанным байтам; повтор ready не меняет метаданные; устаревшая job не изменяет новую версию.
Методика
make research останавливает обычные worker/publisher и запускает tests/pipeline_faults.py в ops. Создаются реальные HTTP-вложения и настоящие consumer-group доставки Valkey Streams. В отдельном процессе вызывается os._exit(86) до PUT, после всех PUT до COMMIT, после COMMIT до XACK. Неподтверждённая доставка затем захватывается другим consumer. Матрица содержит три повтора каждого из пяти основных сценариев, дополнительно проверяет смену уже опубликованной v1 на v2, failed/replay, пять временных ошибок и повтор публикации outbox.
Для ускорения матрицы lease переводится в прошлое SQL-командой; до этого отдельно проверяется отказ захвата действующего lease. Это не измерение реального времени ожидания lease. tests/lifecycle.py отдельно проверяет восстановление с настоящими часами, без изменения дедлайна. Конкурентные дубли запускаются восемью потоками, обычный worker последовательный. Время в таблице включает HTTP/БД, запуск Python-процессов и обработку; это время полного тестового сценария, а не latency одного изображения в production.
Один локальный Linux Docker Engine в Colima, arm64, 4 vCPU, около 8 GiB RAM. Лимиты: worker 1 CPU/768 MiB, API 2 реплики по 2 CPU/512 MiB, PostgreSQL 1 CPU/512 MiB, MinIO 0.5 CPU/768 MiB, broker 0.25 CPU/192 MiB; ops 1 CPU/512 MiB. Ограничения CPU — верхние пределы, а не выделенные ядра. Прочие лабораторные могут работать в этой же VM. Файл матрицы — PNG 320×200 из публичных fixtures. Отдельные геометрические тесты используют PNG/JPEG от 80×40 до 1600×800. Нагрузочного прогрева нет: исследуется корректность конкретных interleavings, не максимальный throughput. Точные лимиты и образы сохранены в evidence/containers.json и compose.yaml.
Результаты матрицы
| Сценарий | Повторы | Среднее, мс | min–max, мс | SD, мс | Объектов текущей версии | Ошибки |
|---|---|---|---|---|---|---|
| Падение до PUT | 3 | 1550.718 | 1321.347–1786.888 | 232.845 | 4 | 0 |
| Падение после PUT | 3 | 1549.527 | 1334.593–1872.025 | 284.404 | 4 | 0 |
| Падение после COMMIT до ack | 3 | 1383.915 | 1275.246–1590.414 | 178.915 | 4 | 0 |
| 8 конкурентных дублей | 3 | 143.795 | 121.12–172.849 | 26.448 | 4 | 0 |
| Старая версия после новой | 3 | 223.21 | 109.191–440.476 | 188.235 | 4 | 0 |
После падения до COMMIT требуются две управляемые попытки. После COMMIT повтор не выполняет обработку: достаточно одной попытки. При восьми конкурентных доставках обрабатывает один поток, остальные видят занятость или завершённый результат. После новой версии старые задания не создают объекты v1 и не изменяют публичные метаданные v2. Отдельно проверено обновление уже существующего результата v1 на v2 с изменённым качеством кодирования.
Raw: pipeline-faults.json, CSV, lifecycle.json, backpressure.json, cleanup-and-limits.json.
Ограничения
Это проверка конечного набора аварийных расписаний, а не математическое доказательство для всех interleavings. Исследование не покрывает потерю диска/volume, несколько узлов, длительные сетевые разделения и повреждение файловой системы. Локальная матрица не подтверждает SLA и не измеряет p95 под производственной нагрузкой; для выбранного трека это не заявляется. CPU/RAM ограничены конфигурацией, пиковый RSS декодера в этом исследовании не измеряется.
Физический PUT может повториться после аварии: одинаковый ключ заменяется теми же данными. Гарантируется один текущий логический набор результатов, а доставка остаётся at least once. Объекты прежних успешно опубликованных версий сохраняются: это история версий, не дубли текущего результата. Изменение алгоритма должно сопровождаться увеличением pipeline_version; старый бинарный worker нужно вывести из эксплуатации перед изменением кода существующей версии.
