Files
mtusi2026lab5/CHANGELOG.md
T
Mikhail Verkovykh fec2882c9a feat(lab5): track 1 queue experiment and evidence
- 3 profiles (serial 1/1, balanced 4/4, eager 8/32) x 2 image sizes
- measure throughput, DB-derived queue lag and p95 time-to-ready, worker RSS
- separate MAX_PENDING_JOBS=3 backpressure and worker recovery run
- self-contained HTML/SVG dashboard plus JSON/Markdown evidence
- document methodology, results and limitations in REPORT/README/CHANGELOG
2026-11-15 00:44:45 +03:00

3.9 KiB
Raw Blame History

Changelog

Все заметные изменения стенда. Формат — по мотивам Keep a Changelog; версии учебные, даты в UTC.

[Unreleased]

Added

  • Асинхронный pipeline lab5: RabbitMQ quorum queue attachment.process.v1, persistent-сообщения и publisher confirms.
  • Durable staging в RustFS staging/{chat}/{attachment} и отдельный worker, который пишет оригинал и варианты thumbnail (JPEG 256 fit), crop (JPEG 128×128), optimized (WebP 1280 fit).
  • PostgreSQL-таблица attachment_jobs как transactional outbox (published_at IS NULL) и источник состояний queued/processing/ready/failed.
  • DB-lease на job, sweeper просроченных lease, retry с экспоненциальным backoff ±50% jitter, различение постоянных/временных ошибок и явный worker -replay <attachment_uuid>.
  • Admission cap MAX_PENDING_JOBS с 503 и Retry-After: 5.
  • Детерминированные хуки WORKER_FAULT_MODE, WORKER_CRASH_AFTER_EFFECT, WORKER_CRASH_AFTER_CLAIM и скрипт scripts/lab5_resilience.py.
  • Миграции 0004_async_jobs и 0005_retry_error_state.
  • Reconciler очищает брошенные staging/pending-объекты, не трогая ready.
  • Проверки: async-aware custom tests, негативный случай 42 MP (413), evidence для smoke, отказов, persistence и failover.
  • scripts/restart.sh перезапускает RabbitMQ и worker с сохранением volumes.
  • scripts/track1_experiment.py и make track1 — трек 1: матрица serial/balanced/eager × small_many/huge_few, throughput, queue lag, p95 time-to-ready, RSS и отдельный backpressure/recovery прогон; self-contained HTML-дашборд с inline SVG.
  • Документация: README с запуском и архитектурой, отчёт с таблицей критериев, CHANGELOG.

Changed

  • POST /chats/{id}/attachments отвечает 202 после durable staging и COMMIT задания; готовность определяется опросом метаданных, content до ready — 409.
  • Загрузка потоковая (буфер 32 KiB), лимиты bytes/pixels проверяются до декодирования; декодирование ограничено общим semaphore-budget.
  • attachment_jobs.error_code разрешён для queued/processing, чтобы сохранять причину временной ошибки между попытками.
  • RustFS bootstrap требует S3_APP_USER == S3_ACCESS_KEY_ID и падает быстро при расхождении; .env.example это документирует.

Fixed

  • Retry, потерявший ownership строки, больше не подтверждается молча: worker возвращает сообщение в очередь.
  • JSON-сообщения брокера корректно разбирают created_at через RFCFormTime.UnmarshalJSON.
  • Устранён разрыв между COMMIT задания и публикацией: outbox повторяет публикацию до подтверждения брокера.
  • Повторная доставка после crash не создаёт второй набор вариантов и не перезаписывает более новую версию результата.

Evidence

  • evidence/lab5-smoke.txt, evidence/lab5-negative-cases.txt, evidence/lab5-grade4.{json,md}, evidence/lab5-persistence.{txt}, evidence/lab5-persistence-containers.txt, evidence/lab5-failover.txt, evidence/reconcile.txt, evidence/track1.{json,html,md}.