Зафиксируйте результаты проверок трека 2
This commit is contained in:
@@ -2,7 +2,7 @@
|
||||
|
||||
Целевая оценка — **5**, трек 2. Проверяем гипотезу, что после успешного HTTP-приёма рестарты и повторные доставки сохраняют задание, а устаревшая попытка не может заменить опубликованную версию.
|
||||
|
||||
База переноса — ЛР 4, коммит `80c4a56200e3`. Измерения выполнены на рабочем дереве ЛР 5 от шаблона `276dbdad8a34`. Имя автора, номер итогового коммита и ссылку на PR добавляет автор при публикации.
|
||||
Автор — Бакулин, БПИ2301. База переноса — ЛР 4, коммит `80c4a56200e3`. Baseline для сравнения изменений ЛР 5 — `911d97a`. Проверенный код и сценарии эксперимента зафиксированы в `b05b338`. Протоколы с измерениями приложены в каталоге `evidence/`.
|
||||
|
||||
## Запуск из чистого клона
|
||||
|
||||
@@ -23,9 +23,13 @@ make vet
|
||||
|
||||
## Как проходит запрос
|
||||
|
||||
`GET /health/ready` проверяет, что API ещё принимает трафик и может обратиться к PostgreSQL и Valkey. Эти зависимости нужны для чатов и сессий. При отказе S3 текстовые запросы продолжают работать, а операция с файлом может вернуть 503. При остановке RabbitMQ или worker API по-прежнему может надёжно принять загрузку, пока доступны staging и PostgreSQL. Health-check самого worker в эту проверку API не входит.
|
||||
|
||||
API проверяет членство в чате, потоково сохраняет исходник в SeaweedFS под ключом `staging/<attachment_id>`, считает SHA-256 и проверяет изображение. Перед полным декодированием применяются лимиты 10 MiB и 40 млн пикселей. На каждой API-реплике одновременно работает один декодер. Как в ЛР 4, upload требует положительный Content-Length. В Postman режим binary отправляет длину файла. Потоковая загрузка chunked без объявленной длины получает 400. Одна транзакция создаёт строку общего файла при её отсутствии, вложение и задание первой версии. После COMMIT API возвращает снимок `202 queued`. Клиент уже может прикрепить вложение к сообщению. Скачивание до первой публикации даёт 409.
|
||||
|
||||
Строка `attachment_jobs` одновременно хранит попытку обработки и намерение отправки в RabbitMQ. Каждая API-реплика выбирает одну созревшую строку с `FOR UPDATE SKIP LOCKED`, отправляет persistent-сообщение с обязательной маршрутизацией и ждёт publisher confirm. Только затем помечает попытку отправленной. При падении до фиксации та же логическая работа может попасть в очередь повторно. Тайм-аут штатного ожидания confirm — 5 с. В сообщение входят служебные поля схемы jobs, включая стабильный `job_id`. Worker берёт ключ источника, размер и SHA-256 из PostgreSQL.
|
||||
Строка `attachment_jobs` одновременно хранит попытку обработки и намерение отправки в RabbitMQ. Каждая API-реплика выбирает одну созревшую строку с `FOR NO KEY UPDATE SKIP LOCKED`, отправляет persistent-сообщение с обязательной маршрутизацией и ждёт publisher confirm. Только затем помечает попытку отправленной. При падении до фиксации та же логическая работа может попасть в очередь повторно. Тайм-аут штатного ожидания confirm — 5 с. В сообщение входят служебные поля схемы jobs, включая стабильный `job_id`. Worker берёт ключ источника, размер и SHA-256 из PostgreSQL.
|
||||
|
||||
При отправке сообщения транзакция фиксирует целевую версию вложения через `FOR SHARE` на `attachments` и проверяет статус под `FOR KEY SHARE`. Эта блокировка совместима с блокировкой публикатора, поэтому очередь может ждать подтверждения одновременно с записью сообщения. В тесте с открытой транзакцией публикатора сообщение получило 201 за 147 мс. Переход в `failed` берёт `FOR UPDATE`. Когда первая обработка завершается ошибкой до отправки сообщения, отправитель получает 409, а строки сообщения, ключа идемпотентности и связи откатываются.
|
||||
|
||||
Worker проверяет актуальность сообщения и получает ограниченное по времени право обработки — lease с уникальным токеном. После чтения он сверяет размер и хэш оригинала. Результаты хранятся в SeaweedFS. Общий оригинал имеет ключ по хэшу, ключ варианта содержит ID вложения, версию, имя и хэш выходных байтов. Одна транзакция проверяет целевую версию и токен, фиксирует сразу три варианта и переключает опубликованную версию. Только после устойчивого эффекта consumer отправляет ack.
|
||||
|
||||
@@ -37,14 +41,20 @@ Worker проверяет актуальность сообщения и пол
|
||||
|
||||
Оба профиля создают JPEG-миниатюру до 256×256 без увеличения и центральный JPEG-crop 128×128. У JPEG качество 85, прозрачность компонуется на белом. Для WebP изображение вписывается в 1280×1280 с сохранением пропорций. У v1 качество 80, у v2 — 64. Применяется EXIF orientation, выходные файлы сохраняются без исходных метаданных. Оригинал выдаётся без изменений.
|
||||
|
||||
У PNG исходный холст может быть больше растра и иметь ненулевое смещение. Сразу после чтения worker сбрасывает координаты холста. Центральный crop вычисляется по растру с учётом ориентации. Для сплошного красного растра 320×200 с холстом `2400×1800+850+30` проверили скачанный через API JPEG. На высоте 64 в точках x = 1, 64 и 126 получили RGB (254, 0, 0). До исправления центр был белым.
|
||||
|
||||
Worker запускает кодек дочерним процессом с общим дедлайном 45 с или более ранним дедлайном задания. У ImageMagick ограничены потоки, память и дисковый кэш. Для допустимого PNG шириной 40 млн пикселей рабочая строка обычного декодера превышала лимит контейнера. Такой PNG обрабатывает отдельный Go-процесс, который уменьшает изображение и сохраняет центральный фрагмент перед кодированием. На время этой работы резервируются оба слота. На трёх реальных файлах по 40 млн пикселей получены все варианты в контейнере с лимитом 2 GiB. [Методика, размеры и измерения](evidence/codec-40mp.md)
|
||||
|
||||
Рабочие файлы кодека хранятся в каталоге попытки внутри `/tmp/messenger-worker-imaging`. При обычном выходе worker удаляет каталог попытки. При старте процесса, до запуска потребителей, он очищает свой каталог от прерванных попыток. В эксперименте с JPEG CMYK на 40 млн пикселей `SIGKILL` оставил 82 680 KiB рабочих данных. После запуска того же контейнера старый каталог исчез. При штатном бюджете 60 с то же вложение перешло в `ready` на второй попытке. Клиент увидел три варианта, рабочий каталог был пуст. Исходник для повтора хранится в S3.
|
||||
|
||||
## Повторы и эксплуатация
|
||||
|
||||
Значения по умолчанию — 2 потребителя с prefetch 1 каждый, бюджет обработки 60 с, lease на 5 с дольше, до 5 попыток. Для временной ошибки рассчитывается задержка с экспоненциальным ростом, верхней границей в минуту и jitter. Отказ БД до выдачи lease может вызвать повторную доставку без запуска обработки. По этой причине транспортный лимит доставок отключён, а бюджет реальных попыток хранится в SQL. У RabbitMQ 4.1 quorum-очередь по умолчанию отбрасывает многократно возвращённые сообщения. [Документация RabbitMQ](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling)
|
||||
|
||||
Истечение lease обнаруживают API-реплики. Исчерпавшие бюджет и постоянно ошибочные задания попадают в реестр failed. Повтор запускает оператор. CLI проверяет доступность исходника, записывает оператора и предыдущую ошибку, выдаёт новый бюджет с монотонным номером попытки. Запрос replay завершённого задания получает отказ.
|
||||
|
||||
Для `worker failed` достаточно соединения с PostgreSQL. Командам `replay` и `reprocess` также нужен S3. В журнале ошибки обработки worker выводит этап и причину, например `stage=read_original reason=source_missing`. Публичный `error_code` позволяет клиенту узнать исход задания. В запись об ошибке попытки не попадают сырые тексты ошибок хранилища, URL и ключи доступа.
|
||||
|
||||
```sh
|
||||
docker compose exec worker worker failed
|
||||
docker compose exec worker worker replay <attachment-id> <operator>
|
||||
@@ -53,6 +63,8 @@ docker compose exec worker worker reprocess <attachment-id> 2
|
||||
|
||||
Сборщик мусора защищает staging всех актуальных queued/processing-заданий независимо от возраста. Для failed исходник удерживается после последнего перехода состояния (по умолчанию сутки). Для сирот применяется защитный интервал (по умолчанию час). Отдельные ключи доступа разрешают обход бакета сборщику. Оператор может проверить находки командой `make reconcile`, для применения исправлений используется `make reconcile APPLY=1`.
|
||||
|
||||
Сборщик сопоставляет ключи каждой страницы S3 с заданиями и опубликованными вариантами одним SQL-запросом. Перед удалением он повторно проверяет кандидата под блокировкой и сверяет возраст объекта. В тесте с PostgreSQL и тестовой реализацией интерфейса S3 на 300 опубликованных вариантах, 100 активных staging-объектах и одном оригинале число SQL-запросов уменьшилось с 403 до 5. В обоих случаях было 7 вызовов S3 и 0 удалений.
|
||||
|
||||
## Показ через Postman
|
||||
|
||||
1. Создать пользователя, получить сессию, создать чат. Для дальнейших запросов включить Bearer-сессию и использовать префикс `/api/v1`.
|
||||
@@ -61,6 +73,8 @@ docker compose exec worker worker reprocess <attachment-id> 2
|
||||
4. Перезапустить API и брокер с сохранением томов. Запустить `docker compose start worker`. Опросить `GET /attachments/<attachment-id>` до ready. Для исходника 320×200 получить thumbnail 256×160, crop 128×128 и optimized 320×200. Скачивание каждого результата идёт через тот же API с `?variant=thumbnail`, `crop` или `optimized`.
|
||||
5. Командой reprocess заказать версию 2. Проверить SHA-256 опубликованного WebP. Для точных остановок перед COMMIT, после записи объектов и перед ack используется автоматизированный эксперимент.
|
||||
|
||||
19 ноября полный сценарий защиты воспроизведён на отдельном Compose-проекте. Worker был выключен ещё до upload. До его запуска два сообщения были видны после перезапуска обеих API-реплик и брокера, а скачивание до рестарта вернуло 409. После запуска тот же job завершился на первой попытке. Скачанный оригинал совпал с отправленным файлом, JPEG имел размер 256×160. [Порядок действий, ID и контрольные суммы](evidence/worker-off-restart.json) После исправлений тот же сценарий прошёл повторно. [Протокол на последней сборке](evidence/worker-off-after-fixes.json)
|
||||
|
||||
При остановке после записи S3 и до фиксации результата следующий исполнитель имеет право повторно записать те же байты. Видимый эффект остаётся один, поскольку одинаковые байты получают тот же ключ, а транзакция допускает только одну публикацию. Если новый профиль уже получил право публикации, запоздавший исполнитель старого профиля не пройдёт проверку версии и lease. Поэтому гарантия формулируется как идемпотентный эффект при доставке at least once. Число доставок и число фактических вызовов кодека может превышать единицу.
|
||||
|
||||
### Что показали остановки в конкретных точках
|
||||
@@ -82,6 +96,14 @@ docker compose exec worker worker reprocess <attachment-id> 2
|
||||
|
||||
## Проверки на стенде
|
||||
|
||||
После исправлений тимлидского ревью полная матрица прошла 11 из 11 сценариев за 479,143 с. В оболочке задавались один потребитель и одна попытка. Экспериментальный Compose-профиль воспроизвёл двух потребителей и пять попыток. Сообщение с вложением сохранилось ещё при открытой транзакции публикатора. При рестарте брокера обе копии задания сохранились. После подтверждений в порядке 2 → 1 осталась опубликована v2. После исчерпания пяти попыток операторский replay завершился на шестой, с одной записью аудита. [Протокол после исправлений](evidence/track2/run-after-fixes.json)
|
||||
|
||||
На этом же стенде команда `worker failed` вернула одну запись реестра с заведомо недоступными настройками RabbitMQ и S3. Журнал обработки для исчезнувшего и подменённого исходников показал `stage=read_original` с причинами `source_missing` и `source_mismatch`.
|
||||
|
||||
`make upload-memory` измеряет приём от отправки запроса до ответа `202 queued`. Скрипт учитывает только ответы с корректными метаданными, затем дожидается `ready` для одного контрольного вложения каждой серии, скачивает оригинал и сверяет байты и MIME. В обычном профиле обе серии достигли десяти одновременных запросов. Все 20 загрузок получили разные ID. Для PNG по 1 MiB p95 составил 352 мс, для PNG по 10 MiB — 3103 мс. Оба скачанных файла совпали с отправленными. У API-реплик не было OOM и перезапусков. Память снималась периодически через `docker stats`, поэтому кратковременные пики могли пройти между отсчётами. [Измерения загрузки и памяти](evidence/upload-memory.json)
|
||||
|
||||
19 ноября после правок по ревью все 11 сценариев повторены за 399,954 с в отдельном проекте `lab5-review`. Обе копии пережили рестарт RabbitMQ. После возобновления v1 и дополнительных доставок опубликованной осталась v2 с тремя вариантами и прежним SHA-256 WebP. Replay завершился на попытке 6 с одной записью аудита. [Протокол прогона после ревью](evidence/track2/run-review.json)
|
||||
|
||||
| Свойство | Проверка | Наблюдение |
|
||||
| --- | --- | --- |
|
||||
| Пакеты Go и конкурентный доступ | `go build ./...`, `go vet ./...`, `go test -race -p 2 -count=1 ./...` | Прогон с временными контейнерами завершён с кодом 0. [Вывод race detector](evidence/go-race.txt) |
|
||||
@@ -92,7 +114,7 @@ docker compose exec worker worker reprocess <attachment-id> 2
|
||||
| Устойчивость доставки | `go test -race ./internal/broker -count=1` | 22 разрыва соединения до ack пережиты одной подтверждённой публикацией. При заводском лимите quorum-очереди контрольный тест терял её на 22-й доставке. |
|
||||
| Лимиты преобразований и корректность форматов | `make codec-test`, отдельный прогон с `CODEC_STRESS=1` | JPEG и WebP декодируются, выдержаны форма, поворот, фон, размеры и параметры двух профилей. Прогон трёх предельных исходников занял 43,10 с. |
|
||||
|
||||
Полный набор публичных проверок повторён на финальной сборке в обычном режиме Compose. [Команды и вывод](evidence/public-checks.txt)
|
||||
19 ноября на сборке после ревью в обычном режиме Compose повторно прошли smoke, persistence и failover. В новом окне failover выполнено 118 записей, ошибок 0. Первая успешная запись после завершения hook зарегистрирована через 6,369 с от его запуска. В обычном профиле после тимлидского ревью вновь прошли все три проверки. Последнее окно failover дало 131 успешную запись, 0 ошибок, первую запись после hook на отметке 6,168 с от его запуска. [Команды и результаты прогонов](evidence/public-checks.txt)
|
||||
|
||||
Для последних двух публичных тестов на Windows в Git Bash используются команды ниже. Для Linux заменить `.cmd` на `.sh` и дать скриптам право исполнения.
|
||||
|
||||
@@ -108,7 +130,9 @@ Docker Desktop 28.5.1, 8 CPU, 12 547 280 896 байт памяти в Docker VM.
|
||||
|
||||
## Проверка трека 2
|
||||
|
||||
На отдельном стенде с экспортированными портами выполнить `make track2 PYTHON=python`. Команда запускает Compose с экспериментальным профилем и выполняет отказные сценарии. В этом режиме API и worker могут ждать в указанной точке обработки конкретного синтетического задания. Сценарий останавливает и запускает компоненты проекта lab5. Обычный запуск не включает эти точки остановки. После эксперимента `make up` вернёт обычную конфигурацию. По умолчанию результат записывается в `evidence/track2/run.json`, каталог меняется через `EVIDENCE_DIR`.
|
||||
Для отдельной копии стенда задайте своё имя `COMPOSE_PROJECT_NAME` и свободные порты `PUBLISH`, `STATS_PUBLISH`, `BASE_URL` до запуска `make track2`. Экспериментальный профиль задаёт двух потребителей и пять попыток независимо от настроек оболочки. Он сокращает timeout обработки до 15 с, поэтому lease истекает через 20 с. В обычной конфигурации эти интервалы составляют 60 и 65 с.
|
||||
|
||||
На отдельном стенде с экспортированными портами выполнить `make track2 PYTHON=python`. Команда запускает Compose с экспериментальным профилем и выполняет отказные сценарии. В этом режиме API и worker могут ждать в указанной точке обработки конкретного синтетического задания. Сценарий останавливает и запускает компоненты выбранного Compose-проекта. Обычный запуск не включает эти точки остановки. После эксперимента `make up` вернёт обычную конфигурацию. По умолчанию результат записывается в `evidence/track2/run.json`, каталог меняется через `EVIDENCE_DIR`.
|
||||
|
||||
В матрице проверяются остановки до и после фиксации задания, после подтверждения RabbitMQ, после получения lease, после записи объектов и после фиксации результата до ack. Порядок событий задаётся явными барьерами, а не задержкой предполагаемой длительности. Клиент сверяет состояние, число вариантов, хэш скачанного оригинала и байты каждого опубликованного варианта с PostgreSQL. При сравнении версий используется детерминированная текстурная картинка, которая даёт разные WebP при разном качестве сжатия.
|
||||
|
||||
|
||||
@@ -21,4 +21,10 @@ Go 1.27.1, Docker Engine 28.5.1, Linux x86-64 в Docker Desktop, Intel Core i5-1
|
||||
|
||||
Во всех трёх случаях тест декодировал оба выходных JPEG и WebP и сравнил фактические размеры с метаданными. Время включает чтение файла, обработку и проверочное декодирование внутри контейнера. HTTP, брокер и S3 в этом измерении не участвовали. Суммарный результат группы — PASS за 43,10 с.
|
||||
|
||||
19 ноября на рабочем дереве после исправления координат crop и очистки временных файлов повторили тот же набор в Linux-контейнере с 2 CPU и 2 GiB. Все три теста прошли. Progressive RGB JPEG занял 9,78 с, progressive CMYK JPEG — 16,21 с, широкий RGBA64 PNG — 2,86 с. Измерения выполнены по одному разу на файл.
|
||||
|
||||
Два свойства дополнительно проверили через публичный API. Для сплошного красного PNG с растром 320×200 и виртуальным холстом `2400×1800+850+30` в скачанном JPEG 128×128 получили RGB (254, 0, 0) в трёх точках по горизонтали. До исправления в центре был RGB (255, 255, 255). При обработке 40-мегапиксельного CMYK JPEG отправили `SIGKILL` процессу worker. В остановленном контейнере остался каталог попытки, в момент остановки измерили 82 680 KiB. После запуска того же контейнера этот каталог исчез. При штатном бюджете 60 с то же вложение перешло в `ready` на попытке 2 с тремя вариантами. После завершения в рабочем каталоге осталось 0 записей. В контрольном опыте до исправления 72 532 KiB пережили перезапуск.
|
||||
|
||||
При отдельном запуске с укороченным бюджетом задания 30 с и параллельной нагрузкой рабочий каталог также очищался. На этом профиле CMYK-файл исчерпал пять попыток с `deadline_exceeded`. Для демонстрации восстановления предельного файла использовался штатный бюджет 60 с.
|
||||
|
||||
В предварительном опыте обычный процесс ImageMagick получил SIGKILL на широкой PNG-строке при лимите контейнера 2 GiB. Теперь у PNG с осью длиннее 65 535 px отдельный процесс Go усредняет области для превью и берёт центральный квадрат из полного исходника. Такая работа занимает оба слота декодера до выпуска результатов. На JPEG действует лимит одного потока ImageMagick на задание, 96 MiB для пиксельного кэша, отключённый mmap и до 2 GiB дискового кэша. Общий дедлайн преобразования — 45 секунд. Измерение подтверждает прохождение перечисленных файлов под лимитом контейнера. Пиковый RSS в этом запуске не измерялся.
|
||||
|
||||
@@ -21,3 +21,64 @@ PASS: failover preserved confirmed data and existing session. Hook scope needs o
|
||||
docker compose start api
|
||||
sh scripts/wait-ready.sh
|
||||
balancer readiness confirmed
|
||||
|
||||
2026-11-19 | after review | isolated Compose project lab5-review | normal configuration | http://localhost:19085
|
||||
|
||||
make test PYTHON=python
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
make test-persistence PYTHON=python ACTION_SCRIPT=scripts/restart.cmd
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
make test-failover PYTHON=python ACTION_SCRIPT=scripts/stop-one.cmd
|
||||
{"observed_instances_before": 2, "successful_writes": 118, "failed_attempts": 0, "first_recovery_seconds": 6.369}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
2026-11-19 | working tree after teamlead fixes on c6a5e9e | isolated Compose project lab5-fix-check | http://localhost:19285
|
||||
|
||||
go build ./... && go vet ./... && go test -race -p 2 -count=1 ./...
|
||||
Exit code 0. Additional PostgreSQL regressions for attachment, chat/store and pipeline passed with -race.
|
||||
|
||||
make check validate PYTHON=.venv/Scripts/python.exe
|
||||
Exit code 0.
|
||||
python -B -m unittest discover -s scripts/lab4
|
||||
15 tests, OK.
|
||||
|
||||
make track2 PYTHON=python
|
||||
External WORKER_CONCURRENCY=1 and JOB_MAX_ATTEMPTS=1. Complete, 11 scenarios, 479.143 seconds. See track2/run-after-fixes.json.
|
||||
|
||||
Normal Compose profile restored before the following public checks.
|
||||
make test PYTHON=python
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
make upload-memory PYTHON=python
|
||||
Exit code 0. 10/10 responses with HTTP 202 for each of 1 MiB and 10 MiB. Both control downloads matched. See upload-memory.json.
|
||||
|
||||
make test-persistence PYTHON=python ACTION_SCRIPT=scripts/restart.cmd
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
make test-failover PYTHON=python ACTION_SCRIPT=scripts/stop-one.cmd
|
||||
{"observed_instances_before": 2, "successful_writes": 131, "failed_attempts": 0, "first_recovery_seconds": 6.168}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
Both API replicas restored. Worker-off defense sequence repeated through HTTP. See worker-off-after-fixes.json.
|
||||
|
||||
2026-11-20 | pre-submission check | fresh Compose project lab5-submit-nov20 | normal configuration
|
||||
|
||||
go build ./...
|
||||
go vet ./...
|
||||
go test -race -p 2 -count=1 ./...
|
||||
All three commands exited with code 0. Tested application and scripts correspond to b05b338.
|
||||
|
||||
make check validate PYTHON=.venv/Scripts/python.exe
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
python -B -m unittest discover -s scripts/lab4
|
||||
Ran 15 tests. OK.
|
||||
|
||||
make test PYTHON=python BASE_URL=http://127.0.0.1:32768
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
make test-failover PYTHON=python BASE_URL=http://127.0.0.1:32768 ACTION_SCRIPT=scripts/stop-one.cmd
|
||||
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 0, "first_recovery_seconds": 7.324}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
@@ -0,0 +1,465 @@
|
||||
{
|
||||
"project": "lab5-fix-check",
|
||||
"complete": true,
|
||||
"scenarios": {
|
||||
"staging_before_commit": {
|
||||
"unaccepted": "01a1f3d2-1663-703b-ba43-6e2ba2bf4ca1",
|
||||
"source_sha256": "7dbb3fb09f66d46d436d2f15cfa0e6e2b1b5e26ca8cb3e49c129e3dcbc67dd08",
|
||||
"attachment_rows": 0
|
||||
},
|
||||
"commit_before_publish": {
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "3d8068d6-cf1e-406e-aa34-8cdfe474316b",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"message": "01a1f3d2-3483-7cf8-98f4-c248e6373686",
|
||||
"after": {
|
||||
"attachment": "01a1f3d2-30fc-76a6-ab63-af8263e0932c",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "3d8068d6-cf1e-406e-aa34-8cdfe474316b",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"broker_confirm_before_sql": {
|
||||
"broker_confirm_before_sql_commit": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "6ea1bcd2-283f-490c-85dc-3387a840b5e9",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"confirmed_job_before_broker_restart": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "6ea1bcd2-283f-490c-85dc-3387a840b5e9",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"message_while_publisher_held": {
|
||||
"id": "01a1f3d3-b3dc-7745-aa9e-ee041d90110f",
|
||||
"status": 201,
|
||||
"seconds": 0.147
|
||||
},
|
||||
"broker_messages_before_restart": 2,
|
||||
"broker_messages_after_restart": 2,
|
||||
"after": {
|
||||
"attachment": "01a1f3d2-dd56-73e6-a53c-ff78f4488df9",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "6ea1bcd2-283f-490c-85dc-3387a840b5e9",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_claimed": {
|
||||
"phase": "claimed",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "48b90aa4-670e-4774-bdc6-cb068c1a0b14",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": null,
|
||||
"optimized": null,
|
||||
"thumbnail": null
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f3d5-101d-7362-8e8f-047b587a0e3d",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "48b90aa4-670e-4774-bdc6-cb068c1a0b14",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_objects": {
|
||||
"phase": "objects",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "8b84239f-33b5-4dec-bce5-5bd1d670c5f8",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f3d6-0d97-7114-8882-94ffc8c062cf",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "8b84239f-33b5-4dec-bce5-5bd1d670c5f8",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_committed": {
|
||||
"phase": "committed",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "2be611d2-9d53-4452-a7ae-c2e617e48b45",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f3d6-e20d-738e-a91c-75222aa70cf5",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "2be611d2-9d53-4452-a7ae-c2e617e48b45",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"same_version_lease_takeover": {
|
||||
"first_held": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "0a80fdb6-8c01-43a0-afa4-ea05fe970f59",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"second_committed": {
|
||||
"attachment": "01a1f3d7-69e7-7505-b4e7-f1cde135696e",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "0a80fdb6-8c01-43a0-afa4-ea05fe970f59",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"after_first_ack": {
|
||||
"attachment": "01a1f3d7-69e7-7505-b4e7-f1cde135696e",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "0a80fdb6-8c01-43a0-afa4-ea05fe970f59",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"parallel_duplicate_and_reorder": {
|
||||
"reference_v1_webp": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"before_releasing_v1": {
|
||||
"attachment": "01a1f3d8-33a1-7cca-8bfe-21981c9bfbff",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "b99d07b62b1b83e732691b1895a5fd863be0def9a17e2bc8ebd1b315db2cd29c",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 2,
|
||||
"published": 2,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "8179f193-e5af-424a-b904-cd94806b8cf9",
|
||||
"attempt": 1,
|
||||
"state": "superseded",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"id": "fe77b49d-b01c-49d6-9d08-a08c07cf8a8d",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"after_acks_in_order": [
|
||||
2,
|
||||
1
|
||||
],
|
||||
"after": {
|
||||
"attachment": "01a1f3d8-33a1-7cca-8bfe-21981c9bfbff",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "b99d07b62b1b83e732691b1895a5fd863be0def9a17e2bc8ebd1b315db2cd29c",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 2,
|
||||
"published": 2,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "8179f193-e5af-424a-b904-cd94806b8cf9",
|
||||
"attempt": 1,
|
||||
"state": "superseded",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"id": "fe77b49d-b01c-49d6-9d08-a08c07cf8a8d",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"retry_exhaustion_replay": {
|
||||
"injection": "absent source key assigned only to synthetic job",
|
||||
"exhausted": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "4e615206-5278-414f-8f71-d84971e97d3a",
|
||||
"attempt": 5,
|
||||
"state": "failed",
|
||||
"error": "source_missing",
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f3d8-926f-7684-bf62-8289232638cb",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "4e615206-5278-414f-8f71-d84971e97d3a",
|
||||
"attempt": 6,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"audit_rows": 1
|
||||
},
|
||||
"permanent_failure": {
|
||||
"injection": "different valid original assigned only to synthetic job",
|
||||
"failed": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "89899dd3-bd2d-40c1-ab9b-69ff3d5655db",
|
||||
"attempt": 1,
|
||||
"state": "failed",
|
||||
"error": "source_mismatch",
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
}
|
||||
},
|
||||
"unaccepted_staging_cleanup": {
|
||||
"before": {
|
||||
"kind": "stale_staging",
|
||||
"key": "staging/01a1f3d2-1663-703b-ba43-6e2ba2bf4ca1",
|
||||
"action": "delete_object",
|
||||
"applied": false
|
||||
},
|
||||
"applied": {
|
||||
"kind": "stale_staging",
|
||||
"key": "staging/01a1f3d2-1663-703b-ba43-6e2ba2bf4ca1",
|
||||
"action": "delete_object",
|
||||
"applied": true
|
||||
},
|
||||
"after_findings": 0
|
||||
}
|
||||
},
|
||||
"seconds": {
|
||||
"staging_before_commit": 5.621,
|
||||
"commit_before_publish": 43.92,
|
||||
"broker_confirm_before_sql": 143.672,
|
||||
"worker_crash_claimed": 65.682,
|
||||
"worker_crash_objects": 53.866,
|
||||
"worker_crash_committed": 35.637,
|
||||
"same_version_lease_takeover": 51.139,
|
||||
"parallel_duplicate_and_reorder": 25.06,
|
||||
"retry_exhaustion_replay": 37.585,
|
||||
"permanent_failure": 13.202,
|
||||
"unaccepted_staging_cleanup": 3.749
|
||||
},
|
||||
"started_at": "2026-11-19T12:39:52.840388+00:00",
|
||||
"finished_at": "2026-11-19T12:47:51.983061+00:00",
|
||||
"elapsed_seconds": 479.143
|
||||
}
|
||||
@@ -0,0 +1,460 @@
|
||||
{
|
||||
"project": "lab5-review",
|
||||
"complete": true,
|
||||
"scenarios": {
|
||||
"staging_before_commit": {
|
||||
"unaccepted": "01a1f2e1-533a-7e57-a9c1-e2e26acd0ccb",
|
||||
"source_sha256": "c1174ee7fa898e6f07fc00b4e7f28a9643573abc1c623fe7b4d15444efcf48ed",
|
||||
"attachment_rows": 0
|
||||
},
|
||||
"commit_before_publish": {
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "e5a44dfc-45cf-4dd0-a68c-179eda00e24a",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"message": "01a1f2e1-71ca-72e8-8200-b241790369cc",
|
||||
"after": {
|
||||
"attachment": "01a1f2e1-6e6d-77db-91c8-5fd2cbb27501",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "e5a44dfc-45cf-4dd0-a68c-179eda00e24a",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"broker_confirm_before_sql": {
|
||||
"broker_confirm_before_sql_commit": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "943b8892-b76e-47c2-9b1e-534e15191d9a",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"confirmed_job_before_broker_restart": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "943b8892-b76e-47c2-9b1e-534e15191d9a",
|
||||
"attempt": 1,
|
||||
"state": "queued",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"broker_messages_before_restart": 2,
|
||||
"broker_messages_after_restart": 2,
|
||||
"after": {
|
||||
"attachment": "01a1f2e1-e993-73a4-9979-373bcad70aaa",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "943b8892-b76e-47c2-9b1e-534e15191d9a",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_claimed": {
|
||||
"phase": "claimed",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "5b2bfe20-356f-4d4e-b40c-4d13d09c4546",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": null,
|
||||
"optimized": null,
|
||||
"thumbnail": null
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f2e3-431b-7147-a44b-90c282e2c8aa",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "5b2bfe20-356f-4d4e-b40c-4d13d09c4546",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_objects": {
|
||||
"phase": "objects",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "34267a34-01d1-4714-970e-adfa1d010e29",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f2e4-138b-74b1-a61d-7535491bab2f",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "34267a34-01d1-4714-970e-adfa1d010e29",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"worker_crash_committed": {
|
||||
"phase": "committed",
|
||||
"before": {
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "6cd1d4b0-d54c-4ddf-b218-374b6cb3d145",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"storage_sha256_at_barrier": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f2e4-e44b-71a6-a2f0-1428ee721758",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "6cd1d4b0-d54c-4ddf-b218-374b6cb3d145",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"same_version_lease_takeover": {
|
||||
"first_held": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "417120a3-4f24-4294-a0b0-a7858924b69c",
|
||||
"attempt": 1,
|
||||
"state": "processing",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"second_committed": {
|
||||
"attachment": "01a1f2e5-4ebd-780d-b531-e98c55bc4b3c",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "417120a3-4f24-4294-a0b0-a7858924b69c",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"after_first_ack": {
|
||||
"attachment": "01a1f2e5-4ebd-780d-b531-e98c55bc4b3c",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "417120a3-4f24-4294-a0b0-a7858924b69c",
|
||||
"attempt": 2,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"parallel_duplicate_and_reorder": {
|
||||
"reference_v1_webp": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"before_releasing_v1": {
|
||||
"attachment": "01a1f2e6-2afe-7dc8-b789-fb3f203da96a",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "b99d07b62b1b83e732691b1895a5fd863be0def9a17e2bc8ebd1b315db2cd29c",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 2,
|
||||
"published": 2,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "c8ad5936-e488-47c0-919a-688b892bc9e2",
|
||||
"attempt": 1,
|
||||
"state": "superseded",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"id": "073f2a9b-ba29-4e92-a47b-914d0b964b78",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"after_acks_in_order": [
|
||||
2,
|
||||
1
|
||||
],
|
||||
"after": {
|
||||
"attachment": "01a1f2e6-2afe-7dc8-b789-fb3f203da96a",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "b99d07b62b1b83e732691b1895a5fd863be0def9a17e2bc8ebd1b315db2cd29c",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 2,
|
||||
"published": 2,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "c8ad5936-e488-47c0-919a-688b892bc9e2",
|
||||
"attempt": 1,
|
||||
"state": "superseded",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"id": "073f2a9b-ba29-4e92-a47b-914d0b964b78",
|
||||
"attempt": 1,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
}
|
||||
},
|
||||
"retry_exhaustion_replay": {
|
||||
"injection": "absent source key assigned only to synthetic job",
|
||||
"exhausted": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "1372a91e-858e-4feb-b031-cd4943ab9d22",
|
||||
"attempt": 5,
|
||||
"state": "failed",
|
||||
"error": "source_missing",
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
},
|
||||
"after": {
|
||||
"attachment": "01a1f2e6-a686-7a62-a0e1-09d0f9cf6e66",
|
||||
"original_sha256": "c7a60862e32d552fadd3c10b2a1d44886999cabbcfc3147fe947873fa5b143af",
|
||||
"variant_sha256": {
|
||||
"crop": "2ba9750989e7fde217ad5b00ee18fbd73d9278a54bf7d7165c40096297a2f1f2",
|
||||
"optimized": "544068e10875fc2efd8e694e90db90b782ae717b618d2efe30393f3df55e23ca",
|
||||
"thumbnail": "6b253f725ffaf7bfde827edfb71f328c38ffec4a4147211bedba5115a776f5a7"
|
||||
},
|
||||
"target": 1,
|
||||
"published": 1,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "1372a91e-858e-4feb-b031-cd4943ab9d22",
|
||||
"attempt": 6,
|
||||
"state": "ready",
|
||||
"error": null,
|
||||
"confirmed": true
|
||||
}
|
||||
],
|
||||
"variant_count": 3
|
||||
},
|
||||
"audit_rows": 1
|
||||
},
|
||||
"permanent_failure": {
|
||||
"injection": "different valid original assigned only to synthetic job",
|
||||
"failed": {
|
||||
"target": 1,
|
||||
"published": null,
|
||||
"jobs": [
|
||||
{
|
||||
"version": 1,
|
||||
"id": "b9dd9972-a5f0-4183-8aba-aab629b7189d",
|
||||
"attempt": 1,
|
||||
"state": "failed",
|
||||
"error": "source_mismatch",
|
||||
"confirmed": false
|
||||
}
|
||||
],
|
||||
"variant_count": 0
|
||||
}
|
||||
},
|
||||
"unaccepted_staging_cleanup": {
|
||||
"before": {
|
||||
"kind": "stale_staging",
|
||||
"key": "staging/01a1f2e1-533a-7e57-a9c1-e2e26acd0ccb",
|
||||
"action": "delete_object",
|
||||
"applied": false
|
||||
},
|
||||
"applied": {
|
||||
"kind": "stale_staging",
|
||||
"key": "staging/01a1f2e1-533a-7e57-a9c1-e2e26acd0ccb",
|
||||
"action": "delete_object",
|
||||
"applied": true
|
||||
},
|
||||
"after_findings": 0
|
||||
}
|
||||
},
|
||||
"seconds": {
|
||||
"staging_before_commit": 6.106,
|
||||
"commit_before_publish": 31.334,
|
||||
"broker_confirm_before_sql": 88.361,
|
||||
"worker_crash_claimed": 54.078,
|
||||
"worker_crash_objects": 53.264,
|
||||
"worker_crash_committed": 27.227,
|
||||
"same_version_lease_takeover": 53.318,
|
||||
"parallel_duplicate_and_reorder": 34.439,
|
||||
"retry_exhaustion_replay": 27.452,
|
||||
"permanent_failure": 19.796,
|
||||
"unaccepted_staging_cleanup": 4.568
|
||||
},
|
||||
"started_at": "2026-11-19T08:16:54.478259+00:00",
|
||||
"finished_at": "2026-11-19T08:23:34.338852+00:00",
|
||||
"elapsed_seconds": 399.954
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,42 @@
|
||||
{
|
||||
"checked_at": "2026-11-19T12:50:55.167618+00:00",
|
||||
"project": "lab5-fix-check",
|
||||
"sequence": [
|
||||
"stop worker",
|
||||
"upload",
|
||||
"send attached and ordinary messages",
|
||||
"download before ready",
|
||||
"restart API replicas and broker (retained volumes)",
|
||||
"read queued metadata and both messages",
|
||||
"start worker",
|
||||
"download original and JPEG"
|
||||
],
|
||||
"attachment_id": "01a1f3db-df50-7817-8ecf-6c91fc045fba",
|
||||
"upload_status": 202,
|
||||
"linked_message_id": "01a1f3db-e2a8-76b6-8e68-90abca82c3ce",
|
||||
"text_message_id": "01a1f3db-e2c2-7984-9e83-608c5706ae77",
|
||||
"before_restart": {
|
||||
"job_id": "3ed6676b-cb56-422a-9338-c6b08e64dc42",
|
||||
"state": "queued",
|
||||
"attempt": 1
|
||||
},
|
||||
"content_before_ready": 409,
|
||||
"after_restart": "queued",
|
||||
"both_messages_in_history": true,
|
||||
"final_job": {
|
||||
"job_id": "3ed6676b-cb56-422a-9338-c6b08e64dc42",
|
||||
"state": "ready",
|
||||
"attempt": 1
|
||||
},
|
||||
"original_sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"thumbnail_sha256": "d7cc662e82b52806da6245e82ad3c0c699ef7b4c6107cb2ee451e05930d3eabb",
|
||||
"jpeg_dimensions": [
|
||||
256,
|
||||
160
|
||||
],
|
||||
"variants": [
|
||||
"crop",
|
||||
"optimized",
|
||||
"thumbnail"
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,42 @@
|
||||
{
|
||||
"checked_at": "2026-11-19T08:15:51.864246+00:00",
|
||||
"project": "lab5-review",
|
||||
"sequence": [
|
||||
"stop worker",
|
||||
"upload",
|
||||
"send attached and ordinary messages",
|
||||
"download before ready",
|
||||
"restart API replicas and broker (retained volumes)",
|
||||
"read queued metadata and both messages",
|
||||
"start worker",
|
||||
"download original and JPEG"
|
||||
],
|
||||
"attachment_id": "01a1f2df-496d-79e3-8209-e53c5f5c96e1",
|
||||
"upload_status": 202,
|
||||
"linked_message_id": "01a1f2df-4d26-75ed-9ff3-9dcfbf2b43ed",
|
||||
"text_message_id": "01a1f2df-4d5e-74f8-8acf-72f37d38f663",
|
||||
"before_restart": {
|
||||
"job_id": "a1077353-35f7-4b1f-876f-22b9391df6d6",
|
||||
"state": "queued",
|
||||
"attempt": 1
|
||||
},
|
||||
"content_before_ready": 409,
|
||||
"after_restart": "queued",
|
||||
"both_messages_in_history": true,
|
||||
"final_job": {
|
||||
"job_id": "a1077353-35f7-4b1f-876f-22b9391df6d6",
|
||||
"state": "ready",
|
||||
"attempt": 1
|
||||
},
|
||||
"original_sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"thumbnail_sha256": "d7cc662e82b52806da6245e82ad3c0c699ef7b4c6107cb2ee451e05930d3eabb",
|
||||
"jpeg_dimensions": [
|
||||
256,
|
||||
160
|
||||
],
|
||||
"variants": [
|
||||
"crop",
|
||||
"optimized",
|
||||
"thumbnail"
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user