ЛР 5 — БВТ2301 — Никифорова — на 4 #27

Closed
eqktrin wants to merge 2 commits from eqktrin/mtusi2026lab5:solution/bvt2301-nikiforova into main
First-time contributor

Целевая оценка: 4 (уровень 3 + уровень 4, трек 5 не заявлен)

Что реализовано

Из lab4 перенесено: регистрация/Basic→Bearer, чаты, сообщения с keyset,
идемпотентность POST через pg_advisory_xact_lock, общие сессии
(PostgreSQL+Valkey), 2 API-реплики за Nginx, S3-вложения с ACL.

Новое в lab5:

  • RabbitMQ 3.13-management-alpine, durable queue attachment.process.v1,
    DLX lab5.dlx + attachment.failed, publisher confirm, manual ack,
    volume rabbitmqdata. Management UI (:15672) НЕ публикуется.
  • Worker — отдельный контейнер (python -m app.worker),
    WORKER_CONCURRENCY=2, basic_qos(prefetch_count=2), graceful stop по SIGTERM.
  • POST /attachments → 202 queued: staging в S3 + INSERT attachments(queued)
    • INSERT jobs(queued) + INSERT outbox в одной транзакции, компенсация
      s3.delete_object(staging_key) при отказе транзакции.
  • Transactional outbox: publish_pending_outbox с FOR UPDATE SKIP LOCKED
    в фоновом потоке API и worker. Закрывает разрыв COMMIT → publish.
  • Worker pipeline: original + thumbnail (JPEG 256×256 fit, EXIF, alpha→белый),
    crop (JPEG 128×128 center), optimized (WebP fit 1280×1280, quality 82).
    Image.load() для целостности, MAX_IMAGE_PIXELS=40M.
  • Идемпотентность эффекта: UNIQUE(attachment_id, pipeline_version),
    _already_ready, SELECT FOR UPDATE, INSERT ON CONFLICT DO UPDATE.
    Redelivery ready-задачи — no-op + ack.
  • Retry: JOB_MAX_ATTEMPTS=5, экспоненциальный backoff с jitter.
    Permanent → failed(invalid_image), transient → queued с backoff.
  • Lease/reaper: jobs.lease_until=now()+60s, reaper каждые 30 сек.
  • DLQ/реестр failed: jobs.status='failed', error_code,
    scripts/replay-failed.py <job_id>.
  • Cleanup staging после COMMIT ready.
  • Readiness проверяет PostgreSQL + S3 + RabbitMQ.

Команды запуска из чистого clone

git clone https://gitea.privcloud.tech/eqktrin/mtusi2026lab5.git
cd mtusi2026lab5
# секреты — см. README
docker compose --env-file .env up -d --build
Invoke-RestMethod http://localhost:8080/health/ready

$env:PYTHONUTF8 = "1"
python tests/smoke.py --base-url http://localhost:8080
python student-tests/test_lab5.py --base-url http://localhost:8080
Целевая оценка: 4 (уровень 3 + уровень 4, трек 5 не заявлен) ## Что реализовано Из lab4 перенесено: регистрация/Basic→Bearer, чаты, сообщения с keyset, идемпотентность POST через `pg_advisory_xact_lock`, общие сессии (PostgreSQL+Valkey), 2 API-реплики за Nginx, S3-вложения с ACL. Новое в lab5: - RabbitMQ 3.13-management-alpine, durable queue `attachment.process.v1`, DLX `lab5.dlx` + `attachment.failed`, publisher confirm, manual ack, volume `rabbitmqdata`. Management UI (`:15672`) НЕ публикуется. - Worker — отдельный контейнер (`python -m app.worker`), `WORKER_CONCURRENCY=2`, `basic_qos(prefetch_count=2)`, graceful stop по SIGTERM. - `POST /attachments` → **202 queued**: staging в S3 + `INSERT attachments(queued)` + `INSERT jobs(queued)` + `INSERT outbox` в одной транзакции, компенсация `s3.delete_object(staging_key)` при отказе транзакции. - Transactional outbox: `publish_pending_outbox` с `FOR UPDATE SKIP LOCKED` в фоновом потоке API и worker. Закрывает разрыв COMMIT → publish. - Worker pipeline: original + thumbnail (JPEG 256×256 fit, EXIF, alpha→белый), crop (JPEG 128×128 center), optimized (WebP fit 1280×1280, quality 82). `Image.load()` для целостности, `MAX_IMAGE_PIXELS=40M`. - Идемпотентность эффекта: `UNIQUE(attachment_id, pipeline_version)`, `_already_ready`, `SELECT FOR UPDATE`, `INSERT ON CONFLICT DO UPDATE`. Redelivery ready-задачи — no-op + ack. - Retry: `JOB_MAX_ATTEMPTS=5`, экспоненциальный backoff с jitter. Permanent → failed(invalid_image), transient → queued с backoff. - Lease/reaper: `jobs.lease_until=now()+60s`, reaper каждые 30 сек. - DLQ/реестр failed: `jobs.status='failed'`, `error_code`, `scripts/replay-failed.py <job_id>`. - Cleanup staging после COMMIT ready. - Readiness проверяет PostgreSQL + S3 + RabbitMQ. ## Команды запуска из чистого clone ```powershell git clone https://gitea.privcloud.tech/eqktrin/mtusi2026lab5.git cd mtusi2026lab5 # секреты — см. README docker compose --env-file .env up -d --build Invoke-RestMethod http://localhost:8080/health/ready $env:PYTHONUTF8 = "1" python tests/smoke.py --base-url http://localhost:8080 python student-tests/test_lab5.py --base-url http://localhost:8080
eqktrin added 2 commits 2026-11-06 20:11:08 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:51 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#27