ЛР5 - БВТ2301 - Журавский - на 5 #99

Open
ejur22 wants to merge 1 commits from ejur22/mtusi2026lab5:solution/БВТ2301-Журавский into main
First-time contributor

Лабораторная 5

Автор / группа: Журавский Егор БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 5.1 «Очередь под перегрузкой»

Что перенесено из lab4:
src/ (app, config, db, errors, imaging, instance, invalidation, migrate, pagination, repositories, security, sessions, state, storage, s3_*), migrations/, student-tests/, Dockerfile, infra/nginx.conf, часть scripts/. Не копировались .git, .env, contracts/, публичные tests/, README/COURSE, volumes.

Архитектура и решения
Схема: Клиент → nginx LB → API ×2 → PostgreSQL (метаданные/состояния) + Valkey (кэш сессий) + SeaweedFS S3 (байты), а также RabbitMQ (durable broker) → worker → S3 + PostgreSQL. Наружу опубликован только порт балансировщика.

  • Асинхронный приём (201 → 202). POST …/attachments валидирует размер/формат по содержимому, пишет полный оригинал в durable staging S3 (staging/{id}) и в одной транзакции создаёт строку attachments(status=queued) и строку задания в attachment_jobs (outbox). Только после COMMIT отвечаем 202 queued. Остановка API после ответа не теряет работу.
  • Transactional outbox (закрытие разрыва COMMIT→publish). Отдельный поток в API публикует неопубликованные задания в RabbitMQ с publisher confirms и лишь затем ставит published_at. Падение между COMMIT и publish оставляет строку неопубликованной; она уходит в брокер после рестарта без ручного вмешательства. Тот же механизм доставляет отложенные повторы (available_at).
  • Worker отдельным процессом. Консьюмеры (число = WORKER_CONCURRENCY) с prefetch=1 и ручным ack. Идемпотентный эффект с ключом (attachment_id, pipeline_version, variant): варианты пишутся upsert-ом, результат публикуется атомарно (в одной транзакции: варианты + status=ready + s3_key + done задания). Повторная доставка ready-задачи — no-op; старая pipeline_version не перезаписывает новую.
  • Варианты (уровень 4). thumbnail JPEG (вписан в 256×256, без увеличения, EXIF ориентация, alpha на белый, floor, min 1 px), crop JPEG центр 128×128, optimized WebP (вписан в 1280×1280 без увеличения, EXIF удалён, quality=80). Оригинал неизменен (побайтно), его sha256/size соответствуют источнику.
  • Повторы и финальные ошибки. Временная ошибка → задание возвращается в pending с backoff+jitter и перепубликуется через outbox; по достижении JOB_MAX_ATTEMPTS → failed с retry_exhausted. Постоянная (невалидное изображение) → failed c invalid_image и ack. src.replay — явный повтор из реестра failed.
  • Lease/восстановление. На время обработки ставится lease_until; watchdog в worker переводит processing с истёкшим lease обратно в pending (без размножения эффектов).
  • Staging/cleanup. Staging удаляется только после устойчивой фиксации результата; сверка src.reconcile учитывает и staging, и оригинал, и варианты.
  • Критичные зависимости. Для синхронного пути критичны PostgreSQL и S3 (/health/ready=503). Брокер не критичен для API-приёма: намерение уже durable в БД и уходит через outbox. Valkey обходится (кэш сессий).
## Лабораторная 5 Автор / группа: Журавский Егор БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 5.1 «Очередь под перегрузкой» Что перенесено из lab4: src/ (app, config, db, errors, imaging, instance, invalidation, migrate, pagination, repositories, security, sessions, state, storage, s3_*), migrations/, student-tests/, Dockerfile, infra/nginx.conf, часть scripts/. Не копировались .git, .env, contracts/, публичные tests/, README/COURSE, volumes. Архитектура и решения Схема: Клиент → nginx LB → API ×2 → PostgreSQL (метаданные/состояния) + Valkey (кэш сессий) + SeaweedFS S3 (байты), а также RabbitMQ (durable broker) → worker → S3 + PostgreSQL. Наружу опубликован только порт балансировщика. * Асинхронный приём (201 → 202). POST …/attachments валидирует размер/формат по содержимому, пишет полный оригинал в durable staging S3 (staging/{id}) и в одной транзакции создаёт строку attachments(status=queued) и строку задания в attachment_jobs (outbox). Только после COMMIT отвечаем 202 queued. Остановка API после ответа не теряет работу. * Transactional outbox (закрытие разрыва COMMIT→publish). Отдельный поток в API публикует неопубликованные задания в RabbitMQ с publisher confirms и лишь затем ставит published_at. Падение между COMMIT и publish оставляет строку неопубликованной; она уходит в брокер после рестарта без ручного вмешательства. Тот же механизм доставляет отложенные повторы (available_at). * Worker отдельным процессом. Консьюмеры (число = WORKER_CONCURRENCY) с prefetch=1 и ручным ack. Идемпотентный эффект с ключом (attachment_id, pipeline_version, variant): варианты пишутся upsert-ом, результат публикуется атомарно (в одной транзакции: варианты + status=ready + s3_key + done задания). Повторная доставка ready-задачи — no-op; старая pipeline_version не перезаписывает новую. * Варианты (уровень 4). thumbnail JPEG (вписан в 256×256, без увеличения, EXIF ориентация, alpha на белый, floor, min 1 px), crop JPEG центр 128×128, optimized WebP (вписан в 1280×1280 без увеличения, EXIF удалён, quality=80). Оригинал неизменен (побайтно), его sha256/size соответствуют источнику. * Повторы и финальные ошибки. Временная ошибка → задание возвращается в pending с backoff+jitter и перепубликуется через outbox; по достижении JOB_MAX_ATTEMPTS → failed с retry_exhausted. Постоянная (невалидное изображение) → failed c invalid_image и ack. src.replay — явный повтор из реестра failed. * Lease/восстановление. На время обработки ставится lease_until; watchdog в worker переводит processing с истёкшим lease обратно в pending (без размножения эффектов). * Staging/cleanup. Staging удаляется только после устойчивой фиксации результата; сверка src.reconcile учитывает и staging, и оригинал, и варианты. * Критичные зависимости. Для синхронного пути критичны PostgreSQL и S3 (/health/ready=503). Брокер не критичен для API-приёма: намерение уже durable в БД и уходит через outbox. Valkey обходится (кэш сессий).
ejur22 added 1 commit 2026-11-20 17:05:20 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/ejur22/mtusi2026lab5 solution/БВТ2301-Журавский:ejur22-solution/БВТ2301-Журавский
git checkout ejur22-solution/БВТ2301-Журавский
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#99