12 KiB
Лабораторная 5: асинхронная обработка
Агапов, БПИ2303. Целевой уровень: 5, трек 2 — versioned pipeline и доказанная идемпотентность. Оценка не выставлена.
Запуск
Go 1.26.1, Docker, Helm, kubectl, jq, openssl, Ruby, Python 3.9+ для публичных тестов. Локальному worker нужен cwebp (macOS: пакет webp, Ubuntu: пакет webp); контейнер включает libwebp-tools из Alpine 3.23. Image pipeline использует imaging v1.6.2 и WebP quality 80; JPEG quality 85.
export GOTOOLCHAIN=go1.26.1
make check chart-check
make test-local
LOCAL_COVERAGE=true scripts/test-local.sh
make init-secrets
make deploy
make test BASE_URL=https://hl.agapov.space
Helm использует один release lab2 в highload-applications, context dev. Добавлены worker и отдельный Valkey Streams broker; существующие PostgreSQL, S3, limiter shards, credentials и PVC сохраняются. Migration Jobs применяют 004/005 поверх предыдущих версий. Broker: AOF, appendfsync always, noeviction, persistent volume. При нехватке памяти брокер отклоняет publish; SQL outbox остаётся источником восстановления.
Образ собирается make build-push TAG=<revision>; перед make deploy его digest нужно перенести из image-build.json в values. Registry-токен — локальный файл ~/.secrets/twc-registry-token; секреты не коммитятся. Bootstrap описан в scripts/init-secrets.sh. Остановка worker: масштабировать deployment worker в ноль. PVC при остановке не удаляются; namespace общий, удалять его нельзя.
Протокол
Требования, устройство, проверки.
API валидирует MIME/bytes/пиксели, создаёт reservation, сохраняет приватный staging, атомарно фиксирует queued + SQL job. Только после этого возвращается 202 со снимком queued. Состояния queued/processing/failed видны через metadata; content до ready возвращает 409. Queued/processing разрешено прикреплять к сообщению. ACL сохранён.
Worker отдельно публикует outbox в Streams, получает одну доставку и арендует работу в PostgreSQL. Неподтверждённое уведомление публикуется повторно через 30 секунд; abandoned broker delivery забирается XAUTOCLAIM после двух минут. Один worker обрабатывает одну job, lease — 120 секунд, deadline обработки/I/O — 45 секунд, максимум пять управляемых попыток. Backoff — 2^attempt секунд (до 32) плюс случайные 0–999 ms. Broker redelivery не меняет job_id. SQL attempt увеличивается только при получении новой аренды.
Оригинал копируется без изменений в конечный prefix. Thumbnail JPEG вписывается в 256×256 без увеличения с округлением вниз; crop — центральные 128×128; optimized — WebP fit1280 без увеличения. EXIF orientation применяется, alpha компонуется на белый, метаданные не переносятся. Готовность публикуется одной SQL-транзакцией после записи всех четырёх объектов.
Ключ объекта включает attachment, pipeline_version и lease token. Поэтому истёкшая попытка не перезапишет ни новые метаданные, ни сами байты. CAS проверяет версию и действующую аренду. Ack — после durable completion/retry/failure; потерянный ack приводит к безопасному повтору. Это at-least-once доставка с идемпотентной публикацией, а не exactly-once транспорт.
Failed registry, replay и очистка
attachment_jobs хранит status, attempt, error_code, deadline и версию. attachment_job_audit фиксирует операторский replay. Временные ошибки повторяются; invalid_image сразу terminal, исчерпание попыток — retry_exhausted.
# В контейнере с конфигурацией worker:
/server replay <attachment-uuid> 1
# Явная новая версия, старые deliveries больше не могут публиковаться:
/server replay <attachment-uuid> 2
/server reconcile
/server reconcile --apply
Та же версия повторяется только из failed; ready не исполняется снова без явного повышения версии. Reconcile по умолчанию dry-run. Unpublished objects очищаются после часа; опубликованные original/variants и все текущие staging защищены ссылками в SQL. Terminal staging хранится семь дней после изменения вложения. Apply сначала атомарно помечает источник expired, запрещая replay, затем удаляет S3 и фиксирует удаление. Незавершённое удаление повторяется. После retention replay отклоняется, требуется новый upload. За одно обращение обрабатываются не более 100 terminal источников; для полного накопленного объёма команду повторяют.
Доказательства
Дата: 29.10.2026, локальный Apple Silicon, Docker Desktop; native API/worker. Kubernetes resource limits в этих измерениях не применялись.
| Проверка | Доказательство |
|---|---|
| 202, polling ready, checksum, настоящий thumbnail, ACL | smoke |
| Остановка обслужившего API | failover, действия |
| Restart PostgreSQL/Valkey/S3/API/worker/broker | persistence, действия |
| Worker остановлен, upload принят и прикреплён, всё перезапущено, три варианта готовы | durable |
| MIME, dimensions, white alpha, JPEG/WebP decode, отсутствие upscale | internal/imageprocessor tests, coverage log |
| At-least-once broker, pending reclaim, malformed envelope | internal/streamqueue tests, тот же log |
| Все Go-файлы ≥90%, race detector | машинный отчёт |
| Lint и структура/Helm | lint, static |
Локальный restart сохраняет файловые системы контейнеров. Он не доказывает восстановление с нового Kubernetes-узла или потерянного диска.
Трек 2: fault matrix
Гипотеза: durable SQL intent, версионирование и fencing обеспечивают отсутствие потери подтверждённой работы и перезаписи более нового результата при повторной доставке.
| Окно/воздействие | Инвариант и наблюдение |
|---|---|
| COMMIT intent до publish | Due повторно возвращает тот же job_id; queued-вложение можно прикрепить к сообщению |
| Повтор доставки во время lease | Второй claim не выдаётся |
| Worker потерян после side effect | После expiry новая аренда получает другой token; старый Complete отвергнут |
| Потеря связи до COMMIT результата | Настоящие объекты уже записаны; retry приводит к ready, прежние объекты не опубликованы |
| Потеря подтверждения после COMMIT | Повтор видит ready и не создаёт новый опубликованный эффект |
| Новая версия завершилась раньше старой | Старые Claim/Complete/Fail не изменяют version 2 |
| Пять ошибок/повторные смерти worker | Terminal failed, явный replay сохраняет логический job_id |
| Cleanup конкурирует с replay | Expired source исключает replay до удаления bytes |
Повторяемые сценарии — jobs_test.go, pipeline_integration_test.go, streamqueue/queue_test.go. Вывод fault matrix. В fault tests потеря соединения моделируется на границе реальных операций, а не kill процесса в каждой инструкции. Отдельный shell-сценарий действительно останавливает worker и перезапускает стенд. Все данные синтетические. Один проход матрицы проверяет перечисленные инварианты, но не является доказательством для произвольного распределённого расписания.
Ограничения и источники
Нет HA broker/PostgreSQL/S3. CPU-декодирование ограничено пикселями и числом worker, но Go decode не поддерживает прерывание посреди каждой операции; внешнему процессу WebP передан deadline, Pod имеет memory limit. Потеря диска требует backup, а не retry. В dev применён release lab2 revision 43; публичный HTTPS smoke прошёл после исправления лимита SeaweedFS volumes. Вывод. Первые попытки выявили сохранение старых Helm values (исправлено --reset-values) и занятие всех пяти volumes стандартной коллекцией SeaweedFS (лимит увеличен до 32, по 100 MiB, в пределах PVC 5 GiB). Upgrade. Кратковременные ошибки DNS при rollout сохранены в диагностике; успешный smoke не доказывает отсутствие будущих сетевых отказов. Kubernetes вместо Compose/Swarm требует подтверждения преподавателя.
Официальные источники: imaging, cwebp, Valkey XAUTOCLAIM. При разработке использовалась помощь ИИ; проверки и ограничения перечислены явно.
Итоговая сверка
Обязательные HTTP/attachment/job контракты сопоставлены с реализацией и текущими Go/реальными process checks. Kubernetes restart hook дополнен остановкой worker и перезапуском broker с сохранением PVC; его shell syntax проверен. Сам этот hook в dev после изменения не запускался: доказательство полного restart относится к изолированному local-action сценарию, а не к нему.