Files
mtusi2026lab5/REPORT.md
T
dawudukandCursor f2a3698480 Отделить обработку вложений от приёма файла.
Upload отвечает 202 после staging и записи задания, worker через RabbitMQ собирает thumbnail, crop и optimized и переживает разрыв до publish.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-11-09 01:08:24 +03:00

11 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Булацев, БПИ2301
  • Целевая оценка; выбранный трек 5, если нужен: 4. Трек 5 не заявляется.
  • Commit/PR: локальный commit после переноса lab4
  • Использованные источники, библиотеки и помощь ИИ: контракт репозитория, RabbitMQ reliability / publisher confirms, aio-pika, Pillow. Реализация и прогон проверок сделаны с помощью Cursor.

Запуск из чистого clone

Нужны Docker Compose v2 и Python 3.9+ на хосте. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85, rabbitmq:3.13.7-alpine.

cp .env.example .env
# заменить синтетические пароли в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2

migrate применяет SQL один раз, включая 005_jobs.sql. s3-init создаёт приватный bucket. Брокер — RabbitMQ с томом rabbitmq_data. Очереди attachment.jobs, attachment.jobs.retry и attachment.jobs.dlq объявляет приложение при первом соединении. Снаружи опубликован только 127.0.0.1:8080 у HAProxy. Реплики API, worker, Postgres, Redis, RabbitMQ и SeaweedFS наружу не публикуются. Порт S3 127.0.0.1:9000 оставлен для presigned PUT с хоста, как в lab4.

Готовность: GET http://127.0.0.1:8080/health/ready отвечает 200, когда доступны Postgres, Redis и bucket. Недоступный брокер не переводит API в 503 и не заставляет API делать resize: задание остаётся в таблице attachment_jobs с published_at IS NULL.

python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 scripts/lab5_checks.py
python -X utf8 scripts/grade4_checks.py

Остановка без удаления данных: docker compose --env-file .env stop. Остановить только worker: sh scripts/stop-worker.sh. Полное удаление учебных volumes: docker compose --env-file .env down -v.

На этой машине lab4 уже занимает 127.0.0.1:8080 и 127.0.0.1:9000, поэтому прогон ниже шёл через дополнительный файл compose.altports.yaml (не часть сдачи): API на 127.0.0.1:8081, S3 на 127.0.0.1:9001.

Архитектура и решения

Из lab4 перенесены две реплики API за HAProxy, Postgres, Redis с AOF, SeaweedFS, сессии, идемпотентность сообщений и presigned upload. В этой работе приём файла отделён от обработки.

POST /attachments по-прежнему читает все байты клиента. Ответ 202 со status=queued возвращается только после PUT в приватный prefix staging/<id> и COMMIT строки вложения и задания. В сообщение брокера входят job_id, attachment_id, pipeline_version, attempt и created_at. Байтов, ключей доступа и клиентского пути там нет.

Публикация идёт из outbox: published_at ставится после publisher confirm. Повтор той же строки даёт то же job_id. Worker — отдельный процесс python -m app.worker. Он копирует оригинал в originals/<id>, строит варианты и только потом делает ack. Пока статус не ready, GET .../content отвечает 409. queued и processing можно прикрепить к сообщению, failed — нельзя.

Обязательный thumbnail: JPEG quality 90, вписан в 256×256 без увеличения, размеры округляются вниз, EXIF orientation применяется, альфа кладётся на белый. Fixture 320×200 даёт 256×160. На уровне 4 вместе с ним пишутся crop (центрированный JPEG 128×128, маленькие кадры увеличиваются) и optimized (WebP quality 80, method 6, вписан в 1280×1280 без увеличения, EXIF не копируется). ready ставится одним COMMIT вместе со всеми тремя вариантами. Ключ эффекта — (attachment_id, pipeline_version, name), pipeline_version=1.

Повтор: до 5 попыток (JOB_MAX_ATTEMPTS). Временный сбой возвращает job в queued с backoff 0.5 * 2^(attempt-1) секунд, не больше 30, и множителем 0.5–1.5. Постоянная ошибка картинки — invalid_image без повторов. Исчерпание попыток — retry_exhausted. Оба финальных кода пишутся в Postgres и лучшим усилием в DLQ. Повторная доставка уже ready job только проверяет строку и делает ack. Явный replay: python -m app.replay JOB_ID или POST /api/v1/_lab/attachments/{id}/replay при APP_ENV=lab. Для ready это no-op, job_id не меняется.

Lease равен JOB_TIMEOUT_SECONDS + 15. Просроченный processing забирает reaper и публикует ту же job снова. Prefetch равен WORKER_CONCURRENCY (по умолчанию 2). Staging удаляется после COMMIT результата. Байты failed в prefix staging/ снимаются не раньше STAGING_RETENTION_SECONDS (86400); метаданные остаются.

Роль Сервис Образ Проверка Volume Порт
api api ×2 сборка mtusi-messenger:lab5 /health/ready нет только внутри сети
worker worker тот же образ, другая команда процесс жив, healthcheck выключен нет не опубликован
postgres postgres postgres:16.6-alpine pg_isready pg_data не опубликован
redis redis redis:7.4.2-alpine redis-cli ping redis_data не опубликован
load_balancer lb haproxy:2.8.14-alpine backend /health/ready нет 127.0.0.1:8080
s3 s3 chrislusf/seaweedfs:3.85 master status и порт 9000 s3_data 127.0.0.1:9000 для presign
broker rabbitmq rabbitmq:3.13.7-alpine rabbitmq-diagnostics ping rabbitmq_data не опубликован

Доказательства критериев

Стенд: та же машина, что и lab4 (12th Gen Intel Core i5-12450H, 16 ГБ RAM). Лимиты: API 0.50 CPU / 256 МиБ, worker 1 CPU / 768 МиБ. Прогон 2026-11-09, base URL http://127.0.0.1:8081.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8081 PASS: 202, затем ready, оригинал совпал, thumbnail 256×160 вывод команды
Upload при остановленном worker python -X utf8 scripts/lab5_checks.py worker остановлен, upload 202, content 409, текстовое сообщение с этим id — 201; после start worker вложение aae0c472-a799-4d51-97af-f88e7dbb0b5f стало ready, варианты thumbnail/crop/optimized вывод команды
Негативные файлы lab4 на новом коде python -X utf8 scripts/grade4_checks.py PASS: 202 queued, затем скачивание оригинала; 400/413/415/404 без 500 вывод команды
Разрыв COMMIT и publish docker compose stop rabbitmq, upload, SQL, start rabbitmq upload 202, published_at NULL, status queued; после старта брокера job 1c92a0a4-f823-4f94-b3d9-c10c30bf2e4c стал ready, вариантов 3 вывод psql
Ограниченный retry, lease, DLQ, replay, crash до ack код в app/jobs.py, app/worker.py, WORKER_CRASH_POINT=after_s3 в этом прогоне отдельно не воспроизводились —

scripts/restart.sh перезапускает postgres, redis, s3, rabbitmq, api и worker и не удаляет volumes. scripts/stop-one.sh по-прежнему останавливает одну API-реплику. Повторный прогон persistence/failover на стенде lab5 в этом заходе не делался.

Эксперименты и отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановлен worker, затем upload 202 и сохранённое задание, content 409, чат жив так и было; после start worker тот же id стал ready около 1 с после start, файл не потерян
Остановлен RabbitMQ после COMMIT 202, published_at пустой; после старта брокера задача доходит до ready SQL показал unpublished=t, затем ready и 3 варианта около 19 с после start rabbitmq, новый upload не создавался

Трек 5 не выполнялся. Отдельного замера throughput/RSS очереди нет.

Ограничения и следующие шаги

Стенд выдерживает остановку worker и разрыв между COMMIT и подтверждением брокера, пока живы Postgres и том RabbitMQ. Он не выдерживает потерю тома Postgres, тома S3 или единственного Docker-host. Потеря тома RabbitMQ до confirm компенсируется outbox в Postgres; потеря staging-объекта до копирования в originals/ делает job невыполнимой.

Не сделано в этом прогоне: crash worker после PUT и до ack, явный replay failed, persistence/failover скрипты lab3 на новом стенде, трек 5. WORKER_CRASH_POINT=after_s3 завершает процесс после записи объектов и до COMMIT; повторная доставка должна сойтись в те же ключи. Это ещё нужно показать на защите.