ЛР 5 - БВТ2304 - Березин - на 4 #21

Open
yagera wants to merge 5 commits from yagera/mtusi2026lab5-fork:solution/bvt2304-berezin into main
First-time contributor

Лабораторная 5

Автор / группа: Березин Герман / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено:

  • Перенесено из lab4: приложение (auth, сессии в PostgreSQL + кэш Valkey, чаты, сообщения, идемпотентность Idempotency-Key), HAProxy с проверками готовности, 2 реплики API, приватный bucket SeaweedFS с отдельными ключами, валидация загрузок (413/415/400/404), janitor, миграции, скрипты restart / stop-one / rolling-update.
  • Добавлено в lab5:
    • Upload возвращает 202 queued. Оригинал сохраняется в приватный S3-prefix staging/, затем одной транзакцией создаются attachments, jobs и outbox.
    • Брокер — отдельный сервис Valkey Streams (appendfsync always, noeviction, volume). Доставка at least once, ack только после COMMIT результата. В сообщении только поля jobs.schema.json, без bytes и credentials.
    • Transactional outbox: relay в каждой API-реплике (for update skip locked) закрывает разрыв COMMIT/publish.
    • Отдельный worker: thumbnail JPEG 256 (fixt×128, optimized WebP quality 80 (вписан в 1280, без увеличения). Учитывается EXIF orientation, alpha заливается белым, метаданные не копируются.
    • Идемпотентность эффекта: ключ (attachmentt) и детерминированные S3-ключи. Повторнаядоставка ready-задачи — no-op с ack.
    • Lease с fencing по lease_owner и attempessing, timeout задачи JOB_TIMEOUT_SECONDS.
    • Retry: 5 попыток, backoff с equal jitter, разделение временных и постоянных ошибок (invalid_image,
      processing_failed, retry_exhausted).
    • Реестр failed (worker failed) и безопасный replay (worker replay <id>) с аудитом в job_replays. Replay
      ready-задачи — skipped_ready.
    • Лимиты worker: bytes, пиксели, время, память (2 задачи, prefetch 1, GOMEMLIMIT=600MiB, лимит 768 MiB).
    • Очистка staging после фиксации ready. Janistaging failed-вложений хранится 24 ч радиreplay.

Команды запуска из чистого clone:
cp .env.example .env
sh scripts/mksecrets.sh
docker compose --env-file .env up -d --build -
make check && make test
make test-persistence ACTION_SCRIPT=scripts/re
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/queue_recovery.py
python3 tests/faults.py
python3 tests/variants.py
python3 tests/worker_load.py
python3 tests/attachments.py
python3 tests/s3_checks.py

Результаты проверок и ссылка на REPORT.md:
Подробное описание и таблица проверок в [REPORводы в evidence/.

  • make check / make test: PASS (202 → ready, оригинал, настоящий JPEG 256×160).
  • Persistence (перезапуск postgres, valkey, brorker) и failover обеих реплик: PASS.
  • Демонстрация уровня 3: worker остановлен → upload 202 → сообщение с вложением → content 409 → рестарт broker и API → задача сохранилась в stream → после старта worения обработан как no-op.
  • Уровень 4:
    • Crash API после COMMIT до publish: outbox адача ready.
    • Crash worker после записи S3 до COMMIT: после истечения lease ready с attempt 2, вариантов 3.
    • Crash worker после COMMIT до ack: после реo-op, PEL пуст.
    • S3 недоступен: 4 повтора с jitter (931/1284/2760/7484 мс), затем retry_exhausted. Replay → ready, повторный replay →
      skipped_ready.
    • Повреждённый PNG → invalid_image с первой попытки, без повторов.
  • Нагрузка на worker: 6 изображений по 40 Мп +лее 2 задач, пик RSS 617 MiB при лимите 768,без OOM. Timeout 1 s → ограниченные повторы → retry_exhausted.
  • Варианты проверены по реальным байтам: размеичения, alpha на белом, EXIF orientation, нетEXIF.
  • Память API при 12×3 загрузках: пик 119 MiB ппод нагрузкой: 0–2 ошибки. Rolling update: 4неуспешные попытки.

Ограничения / известные ошибки:

  • Декодирование и ресемплинг одного этапа нельтся между этапами и на операциях S3/БД.
  • Broker, PostgreSQL, S3 и HAProxy остаются единичными экземплярами. Stream не обрезается (XTRIM не реализован).
  • Relay работает только в API: если остановленадания ждут в outbox.
  • После пересоздания контейнера worker старые pending переходят к новому через XAUTOCLAIM только после lease (75 s).
  • EXIF orientation читается только у JPEG. `pi).
  • Replay — операторская CLI-команда, без HTTP API.
  • Для tests/variants.py нужен Pillow.

Источники и использование ИИ:
Код и тесты писал с помощью Claude Code (Anthropic), результат проверял запуском сценариев. Источники: README, contracts и
CONTRIBUTING задания, RabbitMQ reliability, Re go-redis, minio-go, golang.org/x/image,gen2brain/webp, goexif, SeaweedFS, Valkey.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уро
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содерешения
## Лабораторная 5 Автор / группа: Березин Герман / БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: - Перенесено из lab4: приложение (auth, сессии в PostgreSQL + кэш Valkey, чаты, сообщения, идемпотентность `Idempotency-Key`), HAProxy с проверками готовности, 2 реплики API, приватный bucket SeaweedFS с отдельными ключами, валидация загрузок (413/415/400/404), janitor, миграции, скрипты restart / stop-one / rolling-update. - Добавлено в lab5: - Upload возвращает 202 `queued`. Оригинал сохраняется в приватный S3-prefix `staging/`, затем одной транзакцией создаются `attachments`, `jobs` и `outbox`. - Брокер — отдельный сервис Valkey Streams (`appendfsync always`, `noeviction`, volume). Доставка at least once, ack только после COMMIT результата. В сообщении только поля `jobs.schema.json`, без bytes и credentials. - Transactional outbox: relay в каждой API-реплике (`for update skip locked`) закрывает разрыв COMMIT/publish. - Отдельный worker: thumbnail JPEG 256 (fixt×128, optimized WebP quality 80 (вписан в 1280, без увеличения). Учитывается EXIF orientation, alpha заливается белым, метаданные не копируются. - Идемпотентность эффекта: ключ `(attachmentt)` и детерминированные S3-ключи. Повторнаядоставка ready-задачи — no-op с ack. - Lease с fencing по `lease_owner` и `attempessing`, timeout задачи `JOB_TIMEOUT_SECONDS`. - Retry: 5 попыток, backoff с equal jitter, разделение временных и постоянных ошибок (`invalid_image`, `processing_failed`, `retry_exhausted`). - Реестр failed (`worker failed`) и безопасный replay (`worker replay <id>`) с аудитом в `job_replays`. Replay ready-задачи — `skipped_ready`. - Лимиты worker: bytes, пиксели, время, память (2 задачи, prefetch 1, `GOMEMLIMIT=600MiB`, лимит 768 MiB). - Очистка staging после фиксации ready. Janistaging failed-вложений хранится 24 ч радиreplay. Команды запуска из чистого clone: cp .env.example .env sh scripts/mksecrets.sh docker compose --env-file .env up -d --build - make check && make test make test-persistence ACTION_SCRIPT=scripts/re make test-failover ACTION_SCRIPT=scripts/stop-one.sh python3 tests/queue_recovery.py python3 tests/faults.py python3 tests/variants.py python3 tests/worker_load.py python3 tests/attachments.py python3 tests/s3_checks.py Результаты проверок и ссылка на REPORT.md: Подробное описание и таблица проверок в [REPORводы в `evidence/`. - make check / make test: PASS (202 → ready, оригинал, настоящий JPEG 256×160). - Persistence (перезапуск postgres, valkey, brorker) и failover обеих реплик: PASS. - Демонстрация уровня 3: worker остановлен → upload 202 → сообщение с вложением → content 409 → рестарт broker и API → задача сохранилась в stream → после старта worения обработан как no-op. - Уровень 4: - Crash API после COMMIT до publish: outbox адача ready. - Crash worker после записи S3 до COMMIT: после истечения lease ready с attempt 2, вариантов 3. - Crash worker после COMMIT до ack: после реo-op, PEL пуст. - S3 недоступен: 4 повтора с jitter (931/1284/2760/7484 мс), затем `retry_exhausted`. Replay → ready, повторный replay → `skipped_ready`. - Повреждённый PNG → `invalid_image` с первой попытки, без повторов. - Нагрузка на worker: 6 изображений по 40 Мп +лее 2 задач, пик RSS 617 MiB при лимите 768,без OOM. Timeout 1 s → ограниченные повторы → `retry_exhausted`. - Варианты проверены по реальным байтам: размеичения, alpha на белом, EXIF orientation, нетEXIF. - Память API при 12×3 загрузках: пик 119 MiB ппод нагрузкой: 0–2 ошибки. Rolling update: 4неуспешные попытки. Ограничения / известные ошибки: - Декодирование и ресемплинг одного этапа нельтся между этапами и на операциях S3/БД. - Broker, PostgreSQL, S3 и HAProxy остаются единичными экземплярами. Stream не обрезается (`XTRIM` не реализован). - Relay работает только в API: если остановленадания ждут в outbox. - После пересоздания контейнера worker старые pending переходят к новому через `XAUTOCLAIM` только после lease (75 s). - EXIF orientation читается только у JPEG. `pi). - Replay — операторская CLI-команда, без HTTP API. - Для `tests/variants.py` нужен Pillow. Источники и использование ИИ: Код и тесты писал с помощью Claude Code (Anthropic), результат проверял запуском сценариев. Источники: README, contracts и CONTRIBUTING задания, RabbitMQ reliability, Re go-redis, minio-go, golang.org/x/image,gen2brain/webp, goexif, SeaweedFS, Valkey. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уро - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содерешения
yagera added 4 commits 2026-11-06 02:02:43 +03:00
Owner
  • Отозванная сессия восстанавливается из кэша: остановить Valkey → выполнить logout с ответом 204 → запустить Valkey → прежний токен снова получает 200 вместо 401. Нужен устойчивый отзыв сессии, исключающий доверие старой записи кэша. Причина — handlers.go:296 и подавление ошибки удаления в cache.go:101.
  • Восстановить комплектность тестов: attachments.py:6 и worker_load.py:8 падают с ModuleNotFoundError: image_gen; часть команд REPORT ссылается на отсутствующие файлы.
- Отозванная сессия восстанавливается из кэша: остановить Valkey → выполнить logout с ответом 204 → запустить Valkey → прежний токен снова получает 200 вместо 401. Нужен устойчивый отзыв сессии, исключающий доверие старой записи кэша. Причина — [handlers.go:296](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/handlers.go#L296) и подавление ошибки удаления в [cache.go:101](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/cache.go#L101). - Восстановить комплектность тестов: [attachments.py:6](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/tests/attachments.py#L6) и [worker_load.py:8](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/tests/worker_load.py#L8) падают с ModuleNotFoundError: image_gen; часть команд REPORT ссылается на отсутствующие файлы.
yagera added 1 commit 2026-11-19 21:39:01 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork solution/bvt2304-berezin:yagera-solution/bvt2304-berezin
git checkout yagera-solution/bvt2304-berezin
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#21