ЛР5 - БВТ2304 - Кузнецова - на 5 #62

Open
queenfish wants to merge 1 commits from queenfish/mtusi2026lab5:solution/kuznetsova-bvt2304 into main
First-time contributor

Лабораторная 5

Автор / группа: Кузнецова Марина / БВТ2304
Целевая оценка: 5, трек 1 «Очередь под перегрузкой»

Что реализовано

Инфраструктура

  • RabbitMQ в общем стенде (compose.yaml), durable очередь attachment.process.v1, dlq .dlq, volume rabbitmq_data.
  • Отдельные процессы worker, outbox_relay, lease_checker; worker – не в API-контейнере, resize не выполняется синхронно в API.
  • MinIO с приватным bucket attachments; staging-префикс staging/{chat_id}/{uuid}, финальные originals/, thumbnails/, crops/, optimizeds/.
  • Метаданные вложений и job – в PostgreSQL (attachments, jobs, outbox, message_attachments). Байты – в MinIO. В БД и на диске API байтов нет.
  • Отдельные S3-credentials (api-user), консоль MinIO наружу не публикуется.
  • Минимум lab4 сохранён: две реплики API за Nginx, PostgreSQL и Valkey, идемпотентность, failover, persistence, приватный S3.
  • Nginx: client_max_body_size 11m, таймауты 60 с, proxy_next_upstream.

Код приложения

  • POST /chats/{chat_id}/attachments?filename= – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей, MIME по содержимому, опасный filename → 400. Пишет staging в S3 и в одной транзакции создаёт attachments (status=queued), jobs, outbox, затем возвращает 202 queued.
  • outbox_relay читает неопубликованные записи, публикует job в durable очередь RabbitMQ, помечает published_at. Разрыв COMMIT↔publish закрыт.
  • worker читает очередь (PREFETCH_COUNT из env), переводит queued → processing, ставит lease_until, пишет оригинал и варианты, обновляет attachments.variants/variant_keys, ставит ready, удаляет staging. Ack – только после устойчивого эффекта.
  • Варианты: thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения.
  • is_permanent в worker: UnidentifiedImageError, битые/truncated данные → failed invalid_image + DLQ без retry. Временные (сеть, MinIO, RabbitMQ) → backoff с jitter до MAX_ATTEMPTS=5, затем failed retry_exhausted + DLQ.
  • lease_checker возвращает зависшие processing в queued по lease_until.
  • POST /attachments/{id}/replay – только для failed; ready → 409 already_ready, queued/processing → 409 not_failed; внутри FOR UPDATE, новый job+outbox, attempt=1.
  • GET /attachments/{id} и /content – только участникам чата, без redirect. Для queued/processing/failed content → 409. Посторонний → 404.
  • Message с attachment_ids обязателен в ответе; failed-вложение прикреплять нельзя → 409.
  • Потоковое чтение _read_limited – лимит RAM на одну загрузку.

Трек 1 – очередь под перегрузкой

  • student-tests/queue_benchmark.py – prefetch × размер изображения, замер throughput, queue lag (t_processing - t_upload), time-to-ready (t_ready - t_upload), RSS worker; перезапуск worker через docker compose up -d --force-recreate worker с PREFETCH_COUNT из env.
  • student-tests/queue_recovery.py – восстановление после перегрузки: 100 medium при остановленном worker, затем старт worker, замер времени до обработки всех.
  • Гипотеза: prefetch повышает throughput на малых, но на large упирается в CPU/RAM; backpressure отсутствует.
  • Результаты – в REPORT.md; JSON-доказательства в evidence/queue-prefetch{P}-{size}.json, evidence/queue-recovery.json.
  • Ключевое наблюдение: на small оптимум prefetch=5; на medium prefetch=1 даёт лучший throughput и минимальный RSS; на large prefetch=5 даёт RSS 511.7 MiB (почти лимит 512 MiB) при падении throughput; prefetch=20 large не завершил 15 файлов за 600 с – скрипт зафиксировал files_ok=0, по логам worker доработал после таймаута, OOMKilled: false. Backpressure не реализован, цена названа.

Команды запуска

cp .env.example .env
docker compose --env-file .env up -d --build

Проверка готовности:

curl.exe http://localhost:8080/health/ready

Проверки:

python -X utf8 tests/smoke.py --base-url http://localhost:8080
python -X utf8 -m pytest student-tests/test_worker_crash.py -v
python student-tests/queue_benchmark.py --prefetch 1  --size small  --files 50 --output evidence/queue-prefetch1-small.json
python student-tests/queue_benchmark.py --prefetch 5  --size small  --files 50 --output evidence/queue-prefetch5-small.json
python student-tests/queue_benchmark.py --prefetch 20 --size small  --files 50 --output evidence/queue-prefetch20-small.json
python student-tests/queue_benchmark.py --prefetch 1  --size medium --files 30 --output evidence/queue-prefetch1-medium.json
python student-tests/queue_benchmark.py --prefetch 5  --size medium --files 30 --output evidence/queue-prefetch5-medium.json
python student-tests/queue_benchmark.py --prefetch 20 --size medium --files 30 --output evidence/queue-prefetch20-medium.json
python student-tests/queue_benchmark.py --prefetch 1  --size large  --files 15 --output evidence/queue-prefetch1-large.json
python student-tests/queue_benchmark.py --prefetch 5  --size large  --files 15 --output evidence/queue-prefetch5-large.json
python student-tests/queue_benchmark.py --prefetch 20 --size large  --files 15 --output evidence/queue-prefetch20-large.json
python student-tests/queue_recovery.py --files 100 --output evidence/queue-recovery.json

Сценарий защиты уровня 3:

docker compose --env-file .env stop worker
# upload sample.png → 202 queued
# message с attachment_ids → 201
# GET /content → 409; обычное сообщение → 201
docker compose --env-file .env restart api outbox rabbitmq
docker compose --env-file .env start worker
# GET /attachments/{id} → status=ready
docker compose --env-file .env restart rabbitmq
# GET /attachments/{id} → status=ready (задача не потеряна)

Replay failed:

curl.exe -X POST http://localhost:8080/api/v1/attachments/<att_id>/replay -H "Authorization: Bearer <token>"

Результаты

Уровень 3

  • Публичный smoke: PASS: lab5 public API scenario.
  • Upload → 202, status=queued. Состояния queued/processing/ready/failed доступны в API.
  • Broker и worker – отдельные процессы; сообщения durable, доставка at-least-once, ack после устойчивого эффекта.
  • Thumbnail 256×160, оригинал неизменен (sha256 совпадает с fixture 99EA…BD75).
  • Ограниченный retry MAX_ATTEMPTS=5; финальный failed с безопасным error_code.
  • Остановка worker: content → 409, обычные сообщения работают.
  • Рестарт API/broker с volume: status=ready сохраняется.

Уровень 4

  • crop 128×128 JPEG и optimized WebP 1280×1280 присутствуют в variants.
  • Ограничения: MAX_BYTES=10 MiB, MAX_PIXELS=40M на входе; worker обрабатывает только провалидированные.
  • Транзакция attachment + job + outbox: storage.create_attachment_with_job_and_outbox.
  • Различение постоянных/временных ошибок: is_permanent; битые → failed invalid_image без retry.
  • Replay failed: POST /replay → ready 409, failed 202 и ready.
  • Worker crash до ack: pytest student-tests/test_worker_crash.py -v → 1 passed; variants совпадают.
  • Timeout/lease, prefetch, очистка staging – реализованы.

Трек 1

  • 9 прогонов prefetch×size, сводная таблица – в REPORT.md.
  • Восстановление: 100/100 medium за 22.749 с при остановленном worker.
  • Backpressure: измерено, не реализовано; цена названа.
  • prefetch=20 large: таймаут скрипта, OOMKilled: false, worker доработал после таймаута – граница применимости на этом стенде.

Ограничения

  • Один Docker-хост: PostgreSQL, Valkey, MinIO, RabbitMQ, Nginx – SPOF; репликации нет.
  • outbox_relay и lease_checker в одном экземпляре.
  • HTTP без TLS
  • Backpressure не реализован.
  • Ключ эффекта (attachment_id, pipeline_version, variant) обеспечен детерминированными ключами объектов, а не отдельной таблицей.
  • Worker crash-тест имитирует потерю ack через удаление объекта в S3 и UPDATE status='failed', а не SIGKILL в момент ack.
  • Трек 1: prefetch меняется пересозданием worker; для prefetch=20 large зафиксирован таймаут скрипта.

Ссылка на отчёт

REPORT.md в корне репозитория. Доказательства – в evidence/: smoke.txt, demo-ids.txt, thumb-demo.jpg, orig-demo.png, replay.txt, worker-crash.txt, queue-prefetch{P}-{size}.json, queue-recovery.json.

Чек-лист

  • Обязательный минимум уровней 3 и 4 сохранён.
  • Контракт и публичные тесты не ослаблены.
  • smoke, persistence, failover проходят (из lab3/4).
  • Сценарии отказов воспроизведены: остановка worker, рестарт API/broker с volume, replay failed, worker crash до ack.
  • Секреты и приватные ключи вне Git.
  • README.md задания сохранён, REPORT.md заполнен.
  • Трек 1 завершён: prefetch×size, queue lag, RSS, восстановление после перегрузки, backpressure измерен и назван, ограничения описаны.
Лабораторная 5 Автор / группа: Кузнецова Марина / БВТ2304 Целевая оценка: 5, трек 1 «Очередь под перегрузкой» ## Что реализовано ### Инфраструктура - RabbitMQ в общем стенде (`compose.yaml`), durable очередь `attachment.process.v1`, dlq `.dlq`, volume `rabbitmq_data`. - Отдельные процессы `worker`, `outbox_relay`, `lease_checker`; `worker` – не в API-контейнере, resize не выполняется синхронно в API. - MinIO с приватным bucket `attachments`; staging-префикс `staging/{chat_id}/{uuid}`, финальные `originals/`, `thumbnails/`, `crops/`, `optimizeds/`. - Метаданные вложений и job – в PostgreSQL (`attachments`, `jobs`, `outbox`, `message_attachments`). Байты – в MinIO. В БД и на диске API байтов нет. - Отдельные S3-credentials (`api-user`), консоль MinIO наружу не публикуется. - Минимум lab4 сохранён: две реплики API за Nginx, PostgreSQL и Valkey, идемпотентность, failover, persistence, приватный S3. - Nginx: `client_max_body_size 11m`, таймауты 60 с, `proxy_next_upstream`. ### Код приложения - `POST /chats/{chat_id}/attachments?filename=` – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей, MIME по содержимому, опасный filename → 400. Пишет staging в S3 и в одной транзакции создаёт `attachments` (status=queued), `jobs`, `outbox`, затем возвращает `202 queued`. - `outbox_relay` читает неопубликованные записи, публикует job в durable очередь RabbitMQ, помечает `published_at`. Разрыв COMMIT↔publish закрыт. - `worker` читает очередь (`PREFETCH_COUNT` из env), переводит `queued → processing`, ставит `lease_until`, пишет оригинал и варианты, обновляет `attachments.variants`/`variant_keys`, ставит `ready`, удаляет staging. Ack – только после устойчивого эффекта. - Варианты: `thumbnail` JPEG q85, fit 256×256, EXIF transpose, alpha→белый; `crop` JPEG q85, центр 128×128; `optimized` WebP q80, вписан 1280×1280 без увеличения. - `is_permanent` в worker: `UnidentifiedImageError`, битые/truncated данные → `failed invalid_image` + DLQ без retry. Временные (сеть, MinIO, RabbitMQ) → backoff с jitter до `MAX_ATTEMPTS=5`, затем `failed retry_exhausted` + DLQ. - `lease_checker` возвращает зависшие `processing` в `queued` по `lease_until`. - `POST /attachments/{id}/replay` – только для `failed`; `ready` → 409 `already_ready`, `queued/processing` → 409 `not_failed`; внутри `FOR UPDATE`, новый job+outbox, `attempt=1`. - `GET /attachments/{id}` и `/content` – только участникам чата, без redirect. Для `queued/processing/failed` content → 409. Посторонний → 404. - Message с `attachment_ids` обязателен в ответе; `failed`-вложение прикреплять нельзя → 409. - Потоковое чтение `_read_limited` – лимит RAM на одну загрузку. ### Трек 1 – очередь под перегрузкой - `student-tests/queue_benchmark.py` – prefetch × размер изображения, замер throughput, queue lag (`t_processing - t_upload`), time-to-ready (`t_ready - t_upload`), RSS worker; перезапуск worker через `docker compose up -d --force-recreate worker` с `PREFETCH_COUNT` из env. - `student-tests/queue_recovery.py` – восстановление после перегрузки: 100 medium при остановленном worker, затем старт worker, замер времени до обработки всех. - Гипотеза: prefetch повышает throughput на малых, но на large упирается в CPU/RAM; backpressure отсутствует. - Результаты – в `REPORT.md`; JSON-доказательства в `evidence/queue-prefetch{P}-{size}.json`, `evidence/queue-recovery.json`. - Ключевое наблюдение: на small оптимум prefetch=5; на medium prefetch=1 даёт лучший throughput и минимальный RSS; на large prefetch=5 даёт RSS 511.7 MiB (почти лимит 512 MiB) при падении throughput; prefetch=20 large не завершил 15 файлов за 600 с – скрипт зафиксировал `files_ok=0`, по логам worker доработал после таймаута, `OOMKilled: false`. Backpressure не реализован, цена названа. ## Команды запуска cp .env.example .env docker compose --env-file .env up -d --build Проверка готовности: curl.exe http://localhost:8080/health/ready Проверки: python -X utf8 tests/smoke.py --base-url http://localhost:8080 python -X utf8 -m pytest student-tests/test_worker_crash.py -v python student-tests/queue_benchmark.py --prefetch 1 --size small --files 50 --output evidence/queue-prefetch1-small.json python student-tests/queue_benchmark.py --prefetch 5 --size small --files 50 --output evidence/queue-prefetch5-small.json python student-tests/queue_benchmark.py --prefetch 20 --size small --files 50 --output evidence/queue-prefetch20-small.json python student-tests/queue_benchmark.py --prefetch 1 --size medium --files 30 --output evidence/queue-prefetch1-medium.json python student-tests/queue_benchmark.py --prefetch 5 --size medium --files 30 --output evidence/queue-prefetch5-medium.json python student-tests/queue_benchmark.py --prefetch 20 --size medium --files 30 --output evidence/queue-prefetch20-medium.json python student-tests/queue_benchmark.py --prefetch 1 --size large --files 15 --output evidence/queue-prefetch1-large.json python student-tests/queue_benchmark.py --prefetch 5 --size large --files 15 --output evidence/queue-prefetch5-large.json python student-tests/queue_benchmark.py --prefetch 20 --size large --files 15 --output evidence/queue-prefetch20-large.json python student-tests/queue_recovery.py --files 100 --output evidence/queue-recovery.json Сценарий защиты уровня 3: docker compose --env-file .env stop worker # upload sample.png → 202 queued # message с attachment_ids → 201 # GET /content → 409; обычное сообщение → 201 docker compose --env-file .env restart api outbox rabbitmq docker compose --env-file .env start worker # GET /attachments/{id} → status=ready docker compose --env-file .env restart rabbitmq # GET /attachments/{id} → status=ready (задача не потеряна) Replay failed: curl.exe -X POST http://localhost:8080/api/v1/attachments/<att_id>/replay -H "Authorization: Bearer <token>" ## Результаты ### Уровень 3 - Публичный smoke: `PASS: lab5 public API scenario`. - Upload → `202`, `status=queued`. Состояния `queued/processing/ready/failed` доступны в API. - Broker и worker – отдельные процессы; сообщения durable, доставка at-least-once, ack после устойчивого эффекта. - Thumbnail 256×160, оригинал неизменен (sha256 совпадает с fixture `99EA…BD75`). - Ограниченный retry `MAX_ATTEMPTS=5`; финальный `failed` с безопасным `error_code`. - Остановка worker: content → 409, обычные сообщения работают. - Рестарт API/broker с volume: `status=ready` сохраняется. ### Уровень 4 - crop 128×128 JPEG и optimized WebP 1280×1280 присутствуют в `variants`. - Ограничения: `MAX_BYTES=10 MiB`, `MAX_PIXELS=40M` на входе; worker обрабатывает только провалидированные. - Транзакция attachment + job + outbox: `storage.create_attachment_with_job_and_outbox`. - Различение постоянных/временных ошибок: `is_permanent`; битые → `failed invalid_image` без retry. - Replay failed: `POST /replay` → ready 409, failed 202 и ready. - Worker crash до ack: `pytest student-tests/test_worker_crash.py -v` → `1 passed`; variants совпадают. - Timeout/lease, prefetch, очистка staging – реализованы. ### Трек 1 - 9 прогонов prefetch×size, сводная таблица – в `REPORT.md`. - Восстановление: 100/100 medium за 22.749 с при остановленном worker. - Backpressure: измерено, не реализовано; цена названа. - `prefetch=20 large`: таймаут скрипта, `OOMKilled: false`, worker доработал после таймаута – граница применимости на этом стенде. ## Ограничения - Один Docker-хост: PostgreSQL, Valkey, MinIO, RabbitMQ, Nginx – SPOF; репликации нет. - `outbox_relay` и `lease_checker` в одном экземпляре. - HTTP без TLS - Backpressure не реализован. - Ключ эффекта `(attachment_id, pipeline_version, variant)` обеспечен детерминированными ключами объектов, а не отдельной таблицей. - Worker crash-тест имитирует потерю ack через удаление объекта в S3 и `UPDATE status='failed'`, а не `SIGKILL` в момент `ack`. - Трек 1: prefetch меняется пересозданием worker; для prefetch=20 large зафиксирован таймаут скрипта. ## Ссылка на отчёт `REPORT.md` в корне репозитория. Доказательства – в `evidence/`: `smoke.txt`, `demo-ids.txt`, `thumb-demo.jpg`, `orig-demo.png`, `replay.txt`, `worker-crash.txt`, `queue-prefetch{P}-{size}.json`, `queue-recovery.json`. ## Чек-лист - Обязательный минимум уровней 3 и 4 сохранён. - Контракт и публичные тесты не ослаблены. - smoke, persistence, failover проходят (из lab3/4). - Сценарии отказов воспроизведены: остановка worker, рестарт API/broker с volume, replay failed, worker crash до ack. - Секреты и приватные ключи вне Git. - README.md задания сохранён, REPORT.md заполнен. - Трек 1 завершён: prefetch×size, queue lag, RSS, восстановление после перегрузки, backpressure измерен и назван, ограничения описаны.
queenfish added 1 commit 2026-11-12 21:24:04 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/queenfish/mtusi2026lab5 solution/kuznetsova-bvt2304:queenfish-solution/kuznetsova-bvt2304
git checkout queenfish-solution/kuznetsova-bvt2304
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#62