Files
mtusi2026lab5/CHANGELOG.md
T
Mikhail Verkovykh 9e43faa536 feat(lab5): durable async attachment pipeline through grade 4
- RabbitMQ quorum queue, persistent messages and publisher confirms
- S3 staging plus PostgreSQL attachments/jobs outbox transaction
- worker variants (thumbnail, crop, optimized WebP), DB lease and lease sweeper
- jittered retry, permanent failures, explicit replay and admission cap
- deterministic crash hooks, resilience script and evidence for grade 4
- async-aware custom tests, oversized pixel case, docs and changelog
2026-11-15 00:30:36 +03:00

59 lines
3.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Changelog
Все заметные изменения стенда. Формат — по мотивам Keep a Changelog; версии
учебные, даты в UTC.
## [Unreleased]
### Added
- Асинхронный pipeline lab5: RabbitMQ quorum queue `attachment.process.v1`,
persistent-сообщения и publisher confirms.
- Durable staging в RustFS `staging/{chat}/{attachment}` и отдельный worker,
который пишет оригинал и варианты `thumbnail` (JPEG 256 fit), `crop`
(JPEG 128×128), `optimized` (WebP 1280 fit).
- PostgreSQL-таблица `attachment_jobs` как transactional outbox
(`published_at IS NULL`) и источник состояний `queued/processing/ready/failed`.
- DB-lease на job, sweeper просроченных lease, retry с экспоненциальным backoff
±50% jitter, различение постоянных/временных ошибок и явный
`worker -replay <attachment_uuid>`.
- Admission cap `MAX_PENDING_JOBS` с `503` и `Retry-After: 5`.
- Детерминированные хуки `WORKER_FAULT_MODE`, `WORKER_CRASH_AFTER_EFFECT`,
`WORKER_CRASH_AFTER_CLAIM` и скрипт `scripts/lab5_resilience.py`.
- Миграции `0004_async_jobs` и `0005_retry_error_state`.
- Reconciler очищает брошенные staging/pending-объекты, не трогая `ready`.
- Проверки: async-aware custom tests, негативный случай 42 MP (413), evidence
для smoke, отказов, persistence и failover.
- `scripts/restart.sh` перезапускает RabbitMQ и worker с сохранением volumes.
- Документация: README с запуском и архитектурой, отчёт с таблицей критериев,
CHANGELOG.
### Changed
- `POST /chats/{id}/attachments` отвечает `202` после durable staging и COMMIT
задания; готовность определяется опросом метаданных, content до `ready` — 409.
- Загрузка потоковая (буфер 32 KiB), лимиты bytes/pixels проверяются до
декодирования; декодирование ограничено общим semaphore-budget.
- `attachment_jobs.error_code` разрешён для `queued/processing`, чтобы
сохранять причину временной ошибки между попытками.
- RustFS bootstrap требует `S3_APP_USER == S3_ACCESS_KEY_ID` и падает быстро при
расхождении; `.env.example` это документирует.
### Fixed
- Retry, потерявший ownership строки, больше не подтверждается молча: worker
возвращает сообщение в очередь.
- JSON-сообщения брокера корректно разбирают `created_at` через
`RFCFormTime.UnmarshalJSON`.
- Устранён разрыв между COMMIT задания и публикацией: outbox повторяет
публикацию до подтверждения брокера.
- Повторная доставка после crash не создаёт второй набор вариантов и не
перезаписывает более новую версию результата.
### Evidence
- `evidence/lab5-smoke.txt`, `evidence/lab5-negative-cases.txt`,
`evidence/lab5-grade4.{json,md}`, `evidence/lab5-persistence.{txt}`,
`evidence/lab5-persistence-containers.txt`, `evidence/lab5-failover.txt`,
`evidence/reconcile.txt`.