Files

12 KiB
Raw Permalink Blame History

Лабораторная 5: асинхронная обработка

Агапов, БПИ2303. Целевой уровень: 5, трек 2 — versioned pipeline и доказанная идемпотентность. Оценка не выставлена.

Запуск

Go 1.26.1, Docker, Helm, kubectl, jq, openssl, Ruby, Python 3.9+ для публичных тестов. Локальному worker нужен cwebp (macOS: пакет webp, Ubuntu: пакет webp); контейнер включает libwebp-tools из Alpine 3.23. Image pipeline использует imaging v1.6.2 и WebP quality 80; JPEG quality 85.

export GOTOOLCHAIN=go1.26.1
make check chart-check
make test-local
LOCAL_COVERAGE=true scripts/test-local.sh
make init-secrets
make deploy
make test BASE_URL=https://hl.agapov.space

Helm использует один release lab2 в highload-applications, context dev. Добавлены worker и отдельный Valkey Streams broker; существующие PostgreSQL, S3, limiter shards, credentials и PVC сохраняются. Migration Jobs применяют 004/005 поверх предыдущих версий. Broker: AOF, appendfsync always, noeviction, persistent volume. При нехватке памяти брокер отклоняет publish; SQL outbox остаётся источником восстановления.

Образ собирается make build-push TAG=<revision>; перед make deploy его digest нужно перенести из image-build.json в values. Registry-токен — локальный файл ~/.secrets/twc-registry-token; секреты не коммитятся. Bootstrap описан в scripts/init-secrets.sh. Остановка worker: масштабировать deployment worker в ноль. PVC при остановке не удаляются; namespace общий, удалять его нельзя.

Протокол

Требования, устройство, проверки.

API валидирует MIME/bytes/пиксели, создаёт reservation, сохраняет приватный staging, атомарно фиксирует queued + SQL job. Только после этого возвращается 202 со снимком queued. Состояния queued/processing/failed видны через metadata; content до ready возвращает 409. Queued/processing разрешено прикреплять к сообщению. ACL сохранён.

Worker отдельно публикует outbox в Streams, получает одну доставку и арендует работу в PostgreSQL. Неподтверждённое уведомление публикуется повторно через 30 секунд; abandoned broker delivery забирается XAUTOCLAIM после двух минут. Один worker обрабатывает одну job, lease — 120 секунд, deadline обработки/I/O — 45 секунд, максимум пять управляемых попыток. Backoff — 2^attempt секунд (до 32) плюс случайные 0–999 ms. Broker redelivery не меняет job_id. SQL attempt увеличивается только при получении новой аренды.

Оригинал копируется без изменений в конечный prefix. Thumbnail JPEG вписывается в 256×256 без увеличения с округлением вниз; crop — центральные 128×128; optimized — WebP fit1280 без увеличения. EXIF orientation применяется, alpha компонуется на белый, метаданные не переносятся. Готовность публикуется одной SQL-транзакцией после записи всех четырёх объектов.

Ключ объекта включает attachment, pipeline_version и lease token. Поэтому истёкшая попытка не перезапишет ни новые метаданные, ни сами байты. CAS проверяет версию и действующую аренду. Ack — после durable completion/retry/failure; потерянный ack приводит к безопасному повтору. Это at-least-once доставка с идемпотентной публикацией, а не exactly-once транспорт.

Failed registry, replay и очистка

attachment_jobs хранит status, attempt, error_code, deadline и версию. attachment_job_audit фиксирует операторский replay. Временные ошибки повторяются; invalid_image сразу terminal, исчерпание попыток — retry_exhausted.

# В контейнере с конфигурацией worker:
/server replay <attachment-uuid> 1
# Явная новая версия, старые deliveries больше не могут публиковаться:
/server replay <attachment-uuid> 2
/server reconcile
/server reconcile --apply

Та же версия повторяется только из failed; ready не исполняется снова без явного повышения версии. Reconcile по умолчанию dry-run. Unpublished objects очищаются после часа; опубликованные original/variants и все текущие staging защищены ссылками в SQL. Terminal staging хранится семь дней после изменения вложения. Apply сначала атомарно помечает источник expired, запрещая replay, затем удаляет S3 и фиксирует удаление. Незавершённое удаление повторяется. После retention replay отклоняется, требуется новый upload. За одно обращение обрабатываются не более 100 terminal источников; для полного накопленного объёма команду повторяют.

Доказательства

Дата: 29.10.2026, локальный Apple Silicon, Docker Desktop; native API/worker. Kubernetes resource limits в этих измерениях не применялись.

Проверка Доказательство
202, polling ready, checksum, настоящий thumbnail, ACL smoke
Остановка обслужившего API failover, действия
Restart PostgreSQL/Valkey/S3/API/worker/broker persistence, действия
Worker остановлен, upload принят и прикреплён, всё перезапущено, три варианта готовы durable
MIME, dimensions, white alpha, JPEG/WebP decode, отсутствие upscale internal/imageprocessor tests, coverage log
At-least-once broker, pending reclaim, malformed envelope internal/streamqueue tests, тот же log
Все Go-файлы ≥90%, race detector машинный отчёт
Lint и структура/Helm lint, static

Локальный restart сохраняет файловые системы контейнеров. Он не доказывает восстановление с нового Kubernetes-узла или потерянного диска.

Трек 2: fault matrix

Гипотеза: durable SQL intent, версионирование и fencing обеспечивают отсутствие потери подтверждённой работы и перезаписи более нового результата при повторной доставке.

Окно/воздействие Инвариант и наблюдение
COMMIT intent до publish Due повторно возвращает тот же job_id; queued-вложение можно прикрепить к сообщению
Повтор доставки во время lease Второй claim не выдаётся
Worker потерян после side effect После expiry новая аренда получает другой token; старый Complete отвергнут
Потеря связи до COMMIT результата Настоящие объекты уже записаны; retry приводит к ready, прежние объекты не опубликованы
Потеря подтверждения после COMMIT Повтор видит ready и не создаёт новый опубликованный эффект
Новая версия завершилась раньше старой Старые Claim/Complete/Fail не изменяют version 2
Пять ошибок/повторные смерти worker Terminal failed, явный replay сохраняет логический job_id
Cleanup конкурирует с replay Expired source исключает replay до удаления bytes

Повторяемые сценарии — jobs_test.go, pipeline_integration_test.go, streamqueue/queue_test.go. Вывод fault matrix. В fault tests потеря соединения моделируется на границе реальных операций, а не kill процесса в каждой инструкции. Отдельный shell-сценарий действительно останавливает worker и перезапускает стенд. Все данные синтетические. Один проход матрицы проверяет перечисленные инварианты, но не является доказательством для произвольного распределённого расписания.

Ограничения и источники

Нет HA broker/PostgreSQL/S3. CPU-декодирование ограничено пикселями и числом worker, но Go decode не поддерживает прерывание посреди каждой операции; внешнему процессу WebP передан deadline, Pod имеет memory limit. Потеря диска требует backup, а не retry. В dev применён release lab2 revision 43; публичный HTTPS smoke прошёл после исправления лимита SeaweedFS volumes. Вывод. Первые попытки выявили сохранение старых Helm values (исправлено --reset-values) и занятие всех пяти volumes стандартной коллекцией SeaweedFS (лимит увеличен до 32, по 100 MiB, в пределах PVC 5 GiB). Upgrade. Кратковременные ошибки DNS при rollout сохранены в диагностике; успешный smoke не доказывает отсутствие будущих сетевых отказов. Kubernetes вместо Compose/Swarm требует подтверждения преподавателя.

Официальные источники: imaging, cwebp, Valkey XAUTOCLAIM. При разработке использовалась помощь ИИ; проверки и ограничения перечислены явно.

Итоговая сверка

Обязательные HTTP/attachment/job контракты сопоставлены с реализацией и текущими Go/реальными process checks. Kubernetes restart hook дополнен остановкой worker и перезапуском broker с сохранением PVC; его shell syntax проверен. Сам этот hook в dev после изменения не запускался: доказательство полного restart относится к изолированному local-action сценарию, а не к нему.