Files
mtusi2026lab5-fork/CHANGES.md
T

7.2 KiB
Raw Blame History

Изменения lab5 относительно lab4

API

  • POST /chats/{chat_id}/attachments возвращает 202 со статусом queued вместо 201 ready. Проверки при приёме те же, что в lab4.
  • Оригинал сначала сохраняется в приватный S3-prefix staging/<id>, а не сразу в конечный attachments/<id>.
  • GET /attachments/{id} возвращает статусы queued, processing, ready, failed, а также error_code и variants.
  • GET /attachments/{id}/content:
    • принимает variant=original|thumbnail|crop|optimized, неизвестное имя → 400;
    • для не-ready вложения → 409;
    • отсутствующий вариант ready-вложения → 404.
  • POST /chats/{chat_id}/messages: прикрепить failed-вложение нельзя (409), queued/processing можно.

База данных

Новая миграция migrations/0004_jobs.sql:

  • В attachments добавлены status, error_code, staging_key, updated_at. object_key теперь заполняет worker.
  • attachment_variants: варианты с первичным ключом (attachment_id, pipeline_version, name).
  • jobs: задача обработки (статус, попытка, лимит попыток, время следующей попытки, lease, последняя ошибка).
  • outbox: задания на публикацию в брокер.
  • job_replays: аудит операторских повторов.

Новые компоненты

  • broker: Valkey Streams, отдельный сервис с volume, appendfsync always, noeviction, паролем из secrets. Stream attachments.jobs, группа workers.
  • worker: отдельный процесс (messenger worker), 2 потребителя, prefetch 1, лимит 768 MiB.
  • broker.go: формат сообщения по jobs.schema.json, публикация, outbox relay (работает в каждой API-реплике).
  • worker.go:
    • захват задачи с lease и fencing по lease_owner и attempt;
    • обработка и фиксация результата;
    • retry с backoff и jitter;
    • reaper для задач с истёкшим lease;
    • повторное чтение своих pending и XAUTOCLAIM;
    • команды failed и replay.
  • imaging.go:
    • thumbnail JPEG 256, crop JPEG 128×128, optimized WebP quality 80 (вписан в 1280);
    • применение EXIF orientation, alpha на белом;
    • предварительное уменьшение больших изображений для экономии памяти.

Изменения существующего кода

  • attachments.go: приём в staging, транзакция attachments + jobs + outbox, ответ 202, загрузка вариантов, скачивание по variant. Janitor дополнительно чистит staging/.
  • handlers.go: проверка failed-вложений при создании сообщения, точка внедрения отказа.
  • main.go: подкоманды worker, failed, replay; запуск relay в API; новые переменные окружения.
  • s3.go: listing по произвольному prefix.
  • Dockerfile: сборка с тегом nodynamic (WebP без системных библиотек).
  • go.mod: добавлены golang.org/x/image, github.com/gen2brain/webp, github.com/rwcarlsen/goexif.

Инфраструктура и скрипты

  • compose.yaml: сервисы broker и worker, volume broker_data, secrets broker_conf и broker_url, образ mtusi-messenger:lab5, переменные для точек внедрения отказа (по умолчанию пусты).
  • scripts/mksecrets.sh: генерирует пароль брокера, broker.conf и broker_url.
  • scripts/restart.sh: перезапускает также broker и worker.
  • scripts/rolling-update.sh: обновляет также worker.
  • .env.example: WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, JOB_BACKOFF_BASE_MS, JOB_BACKOFF_MAX_MS, STAGING_RETENTION_SECONDS.

Надёжность

  • Работа не теряется после ответа 202: оригинал в S3, задача и outbox в одной транзакции PostgreSQL.
  • Разрыв COMMIT/publish закрыт transactional outbox.
  • Повторная доставка и повторы не создают второго набора вариантов: детерминированные S3-ключи и upsert по ключу эффекта.
  • Зависшие задачи возвращаются в очередь по истечении lease.
  • Постоянные ошибки (invalid_image, processing_failed) уходят в failed сразу, временные повторяются до retry_exhausted.
  • Failed-задачи можно повторить через replay. Повтор уже готовой задачи ничего не делает.
  • Повреждение внутри PNG, которое lab4 пропускал (проверялись только заголовок и конец), теперь ловит worker при полном декодировании.

Тесты

Новые:

  • tests/stack.py: общие хелперы.
  • tests/variants.py: размеры, форматы, sha256, без увеличения, alpha, EXIF.
  • tests/queue_recovery.py: сценарий на 3 и повторная доставка.
  • tests/faults.py: 5 сценариев сбоев на 4.
  • tests/worker_load.py: конкуренция, память и timeout worker.

Адаптированы под 202: tests/attachments.py, tests/s3_checks.py (плюс проверка очистки staging), tests/upload_memory.py.

Без изменений: tests/idempotency.py, tests/scenario.py, tests/image_gen.py.

Отчёт и доказательства

  • REPORT.md переписан под lab5.
  • Новые файлы в evidence/: variants.txt, queue-recovery.txt, faults.txt, worker-load.json.
  • Остальные файлы evidence получены заново на стенде lab5.

Исправления после ревью

  • Авторизация проверяет сессию только в PostgreSQL одним запросом (sessions ⋈ users, expires_at > now()); запись кэша не принимается за доказательство действительности токена. Код кэша сессий (cache.go) удалён.
  • Добавлен tests/session_revocation.py: Valkey остановлен → logout 204 → Valkey запущен → прежний токен 401.
  • Тесты image_gen.py, idempotency.py, s3_checks.py, scenario.py, upload_memory.py были не добавлены в git, из-за чего attachments.py и worker_load.py падали с ModuleNotFoundError: image_gen.