Files
mtusi2026lab5/CHANGELOG.md
T
Mikhail Verkovykh 9e43faa536 feat(lab5): durable async attachment pipeline through grade 4
- RabbitMQ quorum queue, persistent messages and publisher confirms
- S3 staging plus PostgreSQL attachments/jobs outbox transaction
- worker variants (thumbnail, crop, optimized WebP), DB lease and lease sweeper
- jittered retry, permanent failures, explicit replay and admission cap
- deterministic crash hooks, resilience script and evidence for grade 4
- async-aware custom tests, oversized pixel case, docs and changelog
2026-11-15 00:30:36 +03:00

3.5 KiB
Raw Blame History

Changelog

Все заметные изменения стенда. Формат — по мотивам Keep a Changelog; версии учебные, даты в UTC.

[Unreleased]

Added

  • Асинхронный pipeline lab5: RabbitMQ quorum queue attachment.process.v1, persistent-сообщения и publisher confirms.
  • Durable staging в RustFS staging/{chat}/{attachment} и отдельный worker, который пишет оригинал и варианты thumbnail (JPEG 256 fit), crop (JPEG 128×128), optimized (WebP 1280 fit).
  • PostgreSQL-таблица attachment_jobs как transactional outbox (published_at IS NULL) и источник состояний queued/processing/ready/failed.
  • DB-lease на job, sweeper просроченных lease, retry с экспоненциальным backoff ±50% jitter, различение постоянных/временных ошибок и явный worker -replay <attachment_uuid>.
  • Admission cap MAX_PENDING_JOBS с 503 и Retry-After: 5.
  • Детерминированные хуки WORKER_FAULT_MODE, WORKER_CRASH_AFTER_EFFECT, WORKER_CRASH_AFTER_CLAIM и скрипт scripts/lab5_resilience.py.
  • Миграции 0004_async_jobs и 0005_retry_error_state.
  • Reconciler очищает брошенные staging/pending-объекты, не трогая ready.
  • Проверки: async-aware custom tests, негативный случай 42 MP (413), evidence для smoke, отказов, persistence и failover.
  • scripts/restart.sh перезапускает RabbitMQ и worker с сохранением volumes.
  • Документация: README с запуском и архитектурой, отчёт с таблицей критериев, CHANGELOG.

Changed

  • POST /chats/{id}/attachments отвечает 202 после durable staging и COMMIT задания; готовность определяется опросом метаданных, content до ready — 409.
  • Загрузка потоковая (буфер 32 KiB), лимиты bytes/pixels проверяются до декодирования; декодирование ограничено общим semaphore-budget.
  • attachment_jobs.error_code разрешён для queued/processing, чтобы сохранять причину временной ошибки между попытками.
  • RustFS bootstrap требует S3_APP_USER == S3_ACCESS_KEY_ID и падает быстро при расхождении; .env.example это документирует.

Fixed

  • Retry, потерявший ownership строки, больше не подтверждается молча: worker возвращает сообщение в очередь.
  • JSON-сообщения брокера корректно разбирают created_at через RFCFormTime.UnmarshalJSON.
  • Устранён разрыв между COMMIT задания и публикацией: outbox повторяет публикацию до подтверждения брокера.
  • Повторная доставка после crash не создаёт второй набор вариантов и не перезаписывает более новую версию результата.

Evidence

  • evidence/lab5-smoke.txt, evidence/lab5-negative-cases.txt, evidence/lab5-grade4.{json,md}, evidence/lab5-persistence.{txt}, evidence/lab5-persistence-containers.txt, evidence/lab5-failover.txt, evidence/reconcile.txt.