Автор / группа: Журавский Егор БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 5.1 «Очередь под перегрузкой»
Что перенесено из lab4:
src/ (app, config, db, errors, imaging, instance, invalidation, migrate, pagination, repositories, security, sessions, state, storage, s3_*), migrations/, student-tests/, Dockerfile, infra/nginx.conf, часть scripts/. Не копировались .git, .env, contracts/, публичные tests/, README/COURSE, volumes.
Архитектура и решения
Схема: Клиент → nginx LB → API ×2 → PostgreSQL (метаданные/состояния) + Valkey (кэш сессий) + SeaweedFS S3 (байты), а также RabbitMQ (durable broker) → worker → S3 + PostgreSQL. Наружу опубликован только порт балансировщика.
Асинхронный приём (201 → 202). POST …/attachments валидирует размер/формат по содержимому, пишет полный оригинал в durable staging S3 (staging/{id}) и в одной транзакции создаёт строку attachments(status=queued) и строку задания в attachment_jobs (outbox). Только после COMMIT отвечаем 202 queued. Остановка API после ответа не теряет работу.
Transactional outbox (закрытие разрыва COMMIT→publish). Отдельный поток в API публикует неопубликованные задания в RabbitMQ с publisher confirms и лишь затем ставит published_at. Падение между COMMIT и publish оставляет строку неопубликованной; она уходит в брокер после рестарта без ручного вмешательства. Тот же механизм доставляет отложенные повторы (available_at).
Worker отдельным процессом. Консьюмеры (число = WORKER_CONCURRENCY) с prefetch=1 и ручным ack. Идемпотентный эффект с ключом (attachment_id, pipeline_version, variant): варианты пишутся upsert-ом, результат публикуется атомарно (в одной транзакции: варианты + status=ready + s3_key + done задания). Повторная доставка ready-задачи — no-op; старая pipeline_version не перезаписывает новую.
Варианты (уровень 4). thumbnail JPEG (вписан в 256×256, без увеличения, EXIF ориентация, alpha на белый, floor, min 1 px), crop JPEG центр 128×128, optimized WebP (вписан в 1280×1280 без увеличения, EXIF удалён, quality=80). Оригинал неизменен (побайтно), его sha256/size соответствуют источнику.
Повторы и финальные ошибки. Временная ошибка → задание возвращается в pending с backoff+jitter и перепубликуется через outbox; по достижении JOB_MAX_ATTEMPTS → failed с retry_exhausted. Постоянная (невалидное изображение) → failed c invalid_image и ack. src.replay — явный повтор из реестра failed.
Lease/восстановление. На время обработки ставится lease_until; watchdog в worker переводит processing с истёкшим lease обратно в pending (без размножения эффектов).
Staging/cleanup. Staging удаляется только после устойчивой фиксации результата; сверка src.reconcile учитывает и staging, и оригинал, и варианты.
Критичные зависимости. Для синхронного пути критичны PostgreSQL и S3 (/health/ready=503). Брокер не критичен для API-приёма: намерение уже durable в БД и уходит через outbox. Valkey обходится (кэш сессий).
## Лабораторная 5
Автор / группа: Журавский Егор БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 5.1 «Очередь под перегрузкой»
Что перенесено из lab4:
src/ (app, config, db, errors, imaging, instance, invalidation, migrate, pagination, repositories, security, sessions, state, storage, s3_*), migrations/, student-tests/, Dockerfile, infra/nginx.conf, часть scripts/. Не копировались .git, .env, contracts/, публичные tests/, README/COURSE, volumes.
Архитектура и решения
Схема: Клиент → nginx LB → API ×2 → PostgreSQL (метаданные/состояния) + Valkey (кэш сессий) + SeaweedFS S3 (байты), а также RabbitMQ (durable broker) → worker → S3 + PostgreSQL. Наружу опубликован только порт балансировщика.
* Асинхронный приём (201 → 202). POST …/attachments валидирует размер/формат по содержимому, пишет полный оригинал в durable staging S3 (staging/{id}) и в одной транзакции создаёт строку attachments(status=queued) и строку задания в attachment_jobs (outbox). Только после COMMIT отвечаем 202 queued. Остановка API после ответа не теряет работу.
* Transactional outbox (закрытие разрыва COMMIT→publish). Отдельный поток в API публикует неопубликованные задания в RabbitMQ с publisher confirms и лишь затем ставит published_at. Падение между COMMIT и publish оставляет строку неопубликованной; она уходит в брокер после рестарта без ручного вмешательства. Тот же механизм доставляет отложенные повторы (available_at).
* Worker отдельным процессом. Консьюмеры (число = WORKER_CONCURRENCY) с prefetch=1 и ручным ack. Идемпотентный эффект с ключом (attachment_id, pipeline_version, variant): варианты пишутся upsert-ом, результат публикуется атомарно (в одной транзакции: варианты + status=ready + s3_key + done задания). Повторная доставка ready-задачи — no-op; старая pipeline_version не перезаписывает новую.
* Варианты (уровень 4). thumbnail JPEG (вписан в 256×256, без увеличения, EXIF ориентация, alpha на белый, floor, min 1 px), crop JPEG центр 128×128, optimized WebP (вписан в 1280×1280 без увеличения, EXIF удалён, quality=80). Оригинал неизменен (побайтно), его sha256/size соответствуют источнику.
* Повторы и финальные ошибки. Временная ошибка → задание возвращается в pending с backoff+jitter и перепубликуется через outbox; по достижении JOB_MAX_ATTEMPTS → failed с retry_exhausted. Постоянная (невалидное изображение) → failed c invalid_image и ack. src.replay — явный повтор из реестра failed.
* Lease/восстановление. На время обработки ставится lease_until; watchdog в worker переводит processing с истёкшим lease обратно в pending (без размножения эффектов).
* Staging/cleanup. Staging удаляется только после устойчивой фиксации результата; сверка src.reconcile учитывает и staging, и оригинал, и варианты.
* Критичные зависимости. Для синхронного пути критичны PostgreSQL и S3 (/health/ready=503). Брокер не критичен для API-приёма: намерение уже durable в БД и уходит через outbox. Valkey обходится (кэш сессий).
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Журавский Егор БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 5.1 «Очередь под перегрузкой»
Что перенесено из lab4:
src/ (app, config, db, errors, imaging, instance, invalidation, migrate, pagination, repositories, security, sessions, state, storage, s3_*), migrations/, student-tests/, Dockerfile, infra/nginx.conf, часть scripts/. Не копировались .git, .env, contracts/, публичные tests/, README/COURSE, volumes.
Архитектура и решения
Схема: Клиент → nginx LB → API ×2 → PostgreSQL (метаданные/состояния) + Valkey (кэш сессий) + SeaweedFS S3 (байты), а также RabbitMQ (durable broker) → worker → S3 + PostgreSQL. Наружу опубликован только порт балансировщика.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.