forked from mtusi2026/mtusi2026lab5
- RabbitMQ quorum queue, persistent messages and publisher confirms - S3 staging plus PostgreSQL attachments/jobs outbox transaction - worker variants (thumbnail, crop, optimized WebP), DB lease and lease sweeper - jittered retry, permanent failures, explicit replay and admission cap - deterministic crash hooks, resilience script and evidence for grade 4 - async-aware custom tests, oversized pixel case, docs and changelog
3.5 KiB
3.5 KiB
Changelog
Все заметные изменения стенда. Формат — по мотивам Keep a Changelog; версии учебные, даты в UTC.
[Unreleased]
Added
- Асинхронный pipeline lab5: RabbitMQ quorum queue
attachment.process.v1, persistent-сообщения и publisher confirms. - Durable staging в RustFS
staging/{chat}/{attachment}и отдельный worker, который пишет оригинал и вариантыthumbnail(JPEG 256 fit),crop(JPEG 128×128),optimized(WebP 1280 fit). - PostgreSQL-таблица
attachment_jobsкак transactional outbox (published_at IS NULL) и источник состоянийqueued/processing/ready/failed. - DB-lease на job, sweeper просроченных lease, retry с экспоненциальным backoff
±50% jitter, различение постоянных/временных ошибок и явный
worker -replay <attachment_uuid>. - Admission cap
MAX_PENDING_JOBSс503иRetry-After: 5. - Детерминированные хуки
WORKER_FAULT_MODE,WORKER_CRASH_AFTER_EFFECT,WORKER_CRASH_AFTER_CLAIMи скриптscripts/lab5_resilience.py. - Миграции
0004_async_jobsи0005_retry_error_state. - Reconciler очищает брошенные staging/pending-объекты, не трогая
ready. - Проверки: async-aware custom tests, негативный случай 42 MP (413), evidence для smoke, отказов, persistence и failover.
scripts/restart.shперезапускает RabbitMQ и worker с сохранением volumes.- Документация: README с запуском и архитектурой, отчёт с таблицей критериев, CHANGELOG.
Changed
POST /chats/{id}/attachmentsотвечает202после durable staging и COMMIT задания; готовность определяется опросом метаданных, content доready— 409.- Загрузка потоковая (буфер 32 KiB), лимиты bytes/pixels проверяются до декодирования; декодирование ограничено общим semaphore-budget.
attachment_jobs.error_codeразрешён дляqueued/processing, чтобы сохранять причину временной ошибки между попытками.- RustFS bootstrap требует
S3_APP_USER == S3_ACCESS_KEY_IDи падает быстро при расхождении;.env.exampleэто документирует.
Fixed
- Retry, потерявший ownership строки, больше не подтверждается молча: worker возвращает сообщение в очередь.
- JSON-сообщения брокера корректно разбирают
created_atчерезRFCFormTime.UnmarshalJSON. - Устранён разрыв между COMMIT задания и публикацией: outbox повторяет публикацию до подтверждения брокера.
- Повторная доставка после crash не создаёт второй набор вариантов и не перезаписывает более новую версию результата.
Evidence
evidence/lab5-smoke.txt,evidence/lab5-negative-cases.txt,evidence/lab5-grade4.{json,md},evidence/lab5-persistence.{txt},evidence/lab5-persistence-containers.txt,evidence/lab5-failover.txt,evidence/reconcile.txt.