forked from mtusi2026/mtusi2026lab5
7.2 KiB
7.2 KiB
Изменения lab5 относительно lab4
API
POST /chats/{chat_id}/attachmentsвозвращает202со статусомqueuedвместо201 ready. Проверки при приёме те же, что в lab4.- Оригинал сначала сохраняется в приватный S3-prefix
staging/<id>, а не сразу в конечныйattachments/<id>. GET /attachments/{id}возвращает статусыqueued,processing,ready,failed, а такжеerror_codeиvariants.GET /attachments/{id}/content:- принимает
variant=original|thumbnail|crop|optimized, неизвестное имя → 400; - для не-ready вложения → 409;
- отсутствующий вариант ready-вложения → 404.
- принимает
POST /chats/{chat_id}/messages: прикрепитьfailed-вложение нельзя (409),queued/processingможно.
База данных
Новая миграция migrations/0004_jobs.sql:
- В
attachmentsдобавленыstatus,error_code,staging_key,updated_at.object_keyтеперь заполняет worker. attachment_variants: варианты с первичным ключом(attachment_id, pipeline_version, name).jobs: задача обработки (статус, попытка, лимит попыток, время следующей попытки, lease, последняя ошибка).outbox: задания на публикацию в брокер.job_replays: аудит операторских повторов.
Новые компоненты
broker: Valkey Streams, отдельный сервис с volume,appendfsync always,noeviction, паролем из secrets. Streamattachments.jobs, группаworkers.worker: отдельный процесс (messenger worker), 2 потребителя, prefetch 1, лимит 768 MiB.broker.go: формат сообщения поjobs.schema.json, публикация, outbox relay (работает в каждой API-реплике).worker.go:- захват задачи с lease и fencing по
lease_ownerиattempt; - обработка и фиксация результата;
- retry с backoff и jitter;
- reaper для задач с истёкшим lease;
- повторное чтение своих pending и
XAUTOCLAIM; - команды
failedиreplay.
- захват задачи с lease и fencing по
imaging.go:- thumbnail JPEG 256, crop JPEG 128×128, optimized WebP quality 80 (вписан в 1280);
- применение EXIF orientation, alpha на белом;
- предварительное уменьшение больших изображений для экономии памяти.
Изменения существующего кода
attachments.go: приём в staging, транзакцияattachments+jobs+outbox, ответ 202, загрузка вариантов, скачивание поvariant. Janitor дополнительно чиститstaging/.handlers.go: проверка failed-вложений при создании сообщения, точка внедрения отказа.main.go: подкомандыworker,failed,replay; запуск relay в API; новые переменные окружения.s3.go: listing по произвольному prefix.Dockerfile: сборка с тегомnodynamic(WebP без системных библиотек).go.mod: добавленыgolang.org/x/image,github.com/gen2brain/webp,github.com/rwcarlsen/goexif.
Инфраструктура и скрипты
compose.yaml: сервисыbrokerиworker, volumebroker_data, secretsbroker_confиbroker_url, образmtusi-messenger:lab5, переменные для точек внедрения отказа (по умолчанию пусты).scripts/mksecrets.sh: генерирует пароль брокера,broker.confиbroker_url.scripts/restart.sh: перезапускает такжеbrokerиworker.scripts/rolling-update.sh: обновляет такжеworker..env.example:WORKER_CONCURRENCY,JOB_MAX_ATTEMPTS,JOB_TIMEOUT_SECONDS,JOB_BACKOFF_BASE_MS,JOB_BACKOFF_MAX_MS,STAGING_RETENTION_SECONDS.
Надёжность
- Работа не теряется после ответа 202: оригинал в S3, задача и outbox в одной транзакции PostgreSQL.
- Разрыв COMMIT/publish закрыт transactional outbox.
- Повторная доставка и повторы не создают второго набора вариантов: детерминированные S3-ключи и upsert по ключу эффекта.
- Зависшие задачи возвращаются в очередь по истечении lease.
- Постоянные ошибки (
invalid_image,processing_failed) уходят в failed сразу, временные повторяются доretry_exhausted. - Failed-задачи можно повторить через
replay. Повтор уже готовой задачи ничего не делает. - Повреждение внутри PNG, которое lab4 пропускал (проверялись только заголовок и конец), теперь ловит worker при полном декодировании.
Тесты
Новые:
tests/stack.py: общие хелперы.tests/variants.py: размеры, форматы, sha256, без увеличения, alpha, EXIF.tests/queue_recovery.py: сценарий на 3 и повторная доставка.tests/faults.py: 5 сценариев сбоев на 4.tests/worker_load.py: конкуренция, память и timeout worker.
Адаптированы под 202: tests/attachments.py, tests/s3_checks.py (плюс проверка очистки staging), tests/upload_memory.py.
Без изменений: tests/idempotency.py, tests/scenario.py, tests/image_gen.py.
Отчёт и доказательства
REPORT.mdпереписан под lab5.- Новые файлы в
evidence/:variants.txt,queue-recovery.txt,faults.txt,worker-load.json. - Остальные файлы evidence получены заново на стенде lab5.
Исправления после ревью
- Авторизация проверяет сессию только в PostgreSQL одним запросом (
sessions⋈users,expires_at > now()); запись кэша не принимается за доказательство действительности токена. Код кэша сессий (cache.go) удалён. - Добавлен
tests/session_revocation.py: Valkey остановлен → logout 204 → Valkey запущен → прежний токен 401. - Тесты
image_gen.py,idempotency.py,s3_checks.py,scenario.py,upload_memory.pyбыли не добавлены в git, из-за чегоattachments.pyиworker_load.pyпадали сModuleNotFoundError: image_gen.