Автор / группа: Березин Герман / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
Перенесено из lab4: приложение (auth, сессии в PostgreSQL + кэш Valkey, чаты, сообщения, идемпотентность Idempotency-Key), HAProxy с проверками готовности, 2 реплики API, приватный bucket SeaweedFS с отдельными ключами, валидация загрузок (413/415/400/404), janitor, миграции, скрипты restart / stop-one / rolling-update.
Добавлено в lab5:
Upload возвращает 202 queued. Оригинал сохраняется в приватный S3-prefix staging/, затем одной транзакцией создаются attachments, jobs и outbox.
Брокер — отдельный сервис Valkey Streams (appendfsync always, noeviction, volume). Доставка at least once, ack только после COMMIT результата. В сообщении только поля jobs.schema.json, без bytes и credentials.
Transactional outbox: relay в каждой API-реплике (for update skip locked) закрывает разрыв COMMIT/publish.
Отдельный worker: thumbnail JPEG 256 (fixt×128, optimized WebP quality 80 (вписан в 1280, без увеличения). Учитывается EXIF orientation, alpha заливается белым, метаданные не копируются.
Идемпотентность эффекта: ключ (attachmentt) и детерминированные S3-ключи. Повторнаядоставка ready-задачи — no-op с ack.
Lease с fencing по lease_owner и attempessing, timeout задачи JOB_TIMEOUT_SECONDS.
Retry: 5 попыток, backoff с equal jitter, разделение временных и постоянных ошибок (invalid_image, processing_failed, retry_exhausted).
Реестр failed (worker failed) и безопасный replay (worker replay <id>) с аудитом в job_replays. Replay
ready-задачи — skipped_ready.
Лимиты worker: bytes, пиксели, время, память (2 задачи, prefetch 1, GOMEMLIMIT=600MiB, лимит 768 MiB).
Команды запуска из чистого clone:
cp .env.example .env
sh scripts/mksecrets.sh
docker compose --env-file .env up -d --build -
make check && make test
make test-persistence ACTION_SCRIPT=scripts/re
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/queue_recovery.py
python3 tests/faults.py
python3 tests/variants.py
python3 tests/worker_load.py
python3 tests/attachments.py
python3 tests/s3_checks.py
Результаты проверок и ссылка на REPORT.md:
Подробное описание и таблица проверок в [REPORводы в evidence/.
make check / make test: PASS (202 → ready, оригинал, настоящий JPEG 256×160).
Persistence (перезапуск postgres, valkey, brorker) и failover обеих реплик: PASS.
Демонстрация уровня 3: worker остановлен → upload 202 → сообщение с вложением → content 409 → рестарт broker и API → задача сохранилась в stream → после старта worения обработан как no-op.
Уровень 4:
Crash API после COMMIT до publish: outbox адача ready.
Crash worker после записи S3 до COMMIT: после истечения lease ready с attempt 2, вариантов 3.
Crash worker после COMMIT до ack: после реo-op, PEL пуст.
S3 недоступен: 4 повтора с jitter (931/1284/2760/7484 мс), затем retry_exhausted. Replay → ready, повторный replay → skipped_ready.
Повреждённый PNG → invalid_image с первой попытки, без повторов.
Нагрузка на worker: 6 изображений по 40 Мп +лее 2 задач, пик RSS 617 MiB при лимите 768,без OOM. Timeout 1 s → ограниченные повторы → retry_exhausted.
Варианты проверены по реальным байтам: размеичения, alpha на белом, EXIF orientation, нетEXIF.
Память API при 12×3 загрузках: пик 119 MiB ппод нагрузкой: 0–2 ошибки. Rolling update: 4неуспешные попытки.
Ограничения / известные ошибки:
Декодирование и ресемплинг одного этапа нельтся между этапами и на операциях S3/БД.
Broker, PostgreSQL, S3 и HAProxy остаются единичными экземплярами. Stream не обрезается (XTRIM не реализован).
Relay работает только в API: если остановленадания ждут в outbox.
После пересоздания контейнера worker старые pending переходят к новому через XAUTOCLAIM только после lease (75 s).
EXIF orientation читается только у JPEG. `pi).
Replay — операторская CLI-команда, без HTTP API.
Для tests/variants.py нужен Pillow.
Источники и использование ИИ:
Код и тесты писал с помощью Claude Code (Anthropic), результат проверял запуском сценариев. Источники: README, contracts и
CONTRIBUTING задания, RabbitMQ reliability, Re go-redis, minio-go, golang.org/x/image,gen2brain/webp, goexif, SeaweedFS, Valkey.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уро
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содерешения
## Лабораторная 5
Автор / группа: Березин Герман / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
- Перенесено из lab4: приложение (auth, сессии в PostgreSQL + кэш Valkey, чаты, сообщения, идемпотентность `Idempotency-Key`), HAProxy с проверками готовности, 2 реплики API, приватный bucket SeaweedFS с отдельными ключами, валидация загрузок (413/415/400/404), janitor, миграции, скрипты restart / stop-one / rolling-update.
- Добавлено в lab5:
- Upload возвращает 202 `queued`. Оригинал сохраняется в приватный S3-prefix `staging/`, затем одной транзакцией создаются `attachments`, `jobs` и `outbox`.
- Брокер — отдельный сервис Valkey Streams (`appendfsync always`, `noeviction`, volume). Доставка at least once, ack только после COMMIT результата. В сообщении только поля `jobs.schema.json`, без bytes и credentials.
- Transactional outbox: relay в каждой API-реплике (`for update skip locked`) закрывает разрыв COMMIT/publish.
- Отдельный worker: thumbnail JPEG 256 (fixt×128, optimized WebP quality 80 (вписан в 1280, без увеличения). Учитывается EXIF orientation, alpha заливается белым, метаданные не копируются.
- Идемпотентность эффекта: ключ `(attachmentt)` и детерминированные S3-ключи. Повторнаядоставка ready-задачи — no-op с ack.
- Lease с fencing по `lease_owner` и `attempessing`, timeout задачи `JOB_TIMEOUT_SECONDS`.
- Retry: 5 попыток, backoff с equal jitter, разделение временных и постоянных ошибок (`invalid_image`,
`processing_failed`, `retry_exhausted`).
- Реестр failed (`worker failed`) и безопасный replay (`worker replay <id>`) с аудитом в `job_replays`. Replay
ready-задачи — `skipped_ready`.
- Лимиты worker: bytes, пиксели, время, память (2 задачи, prefetch 1, `GOMEMLIMIT=600MiB`, лимит 768 MiB).
- Очистка staging после фиксации ready. Janistaging failed-вложений хранится 24 ч радиreplay.
Команды запуска из чистого clone:
cp .env.example .env
sh scripts/mksecrets.sh
docker compose --env-file .env up -d --build -
make check && make test
make test-persistence ACTION_SCRIPT=scripts/re
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/queue_recovery.py
python3 tests/faults.py
python3 tests/variants.py
python3 tests/worker_load.py
python3 tests/attachments.py
python3 tests/s3_checks.py
Результаты проверок и ссылка на REPORT.md:
Подробное описание и таблица проверок в [REPORводы в `evidence/`.
- make check / make test: PASS (202 → ready, оригинал, настоящий JPEG 256×160).
- Persistence (перезапуск postgres, valkey, brorker) и failover обеих реплик: PASS.
- Демонстрация уровня 3: worker остановлен → upload 202 → сообщение с вложением → content 409 → рестарт broker и API → задача сохранилась в stream → после старта worения обработан как no-op.
- Уровень 4:
- Crash API после COMMIT до publish: outbox адача ready.
- Crash worker после записи S3 до COMMIT: после истечения lease ready с attempt 2, вариантов 3.
- Crash worker после COMMIT до ack: после реo-op, PEL пуст.
- S3 недоступен: 4 повтора с jitter (931/1284/2760/7484 мс), затем `retry_exhausted`. Replay → ready, повторный replay →
`skipped_ready`.
- Повреждённый PNG → `invalid_image` с первой попытки, без повторов.
- Нагрузка на worker: 6 изображений по 40 Мп +лее 2 задач, пик RSS 617 MiB при лимите 768,без OOM. Timeout 1 s → ограниченные повторы → `retry_exhausted`.
- Варианты проверены по реальным байтам: размеичения, alpha на белом, EXIF orientation, нетEXIF.
- Память API при 12×3 загрузках: пик 119 MiB ппод нагрузкой: 0–2 ошибки. Rolling update: 4неуспешные попытки.
Ограничения / известные ошибки:
- Декодирование и ресемплинг одного этапа нельтся между этапами и на операциях S3/БД.
- Broker, PostgreSQL, S3 и HAProxy остаются единичными экземплярами. Stream не обрезается (`XTRIM` не реализован).
- Relay работает только в API: если остановленадания ждут в outbox.
- После пересоздания контейнера worker старые pending переходят к новому через `XAUTOCLAIM` только после lease (75 s).
- EXIF orientation читается только у JPEG. `pi).
- Replay — операторская CLI-команда, без HTTP API.
- Для `tests/variants.py` нужен Pillow.
Источники и использование ИИ:
Код и тесты писал с помощью Claude Code (Anthropic), результат проверял запуском сценариев. Источники: README, contracts и
CONTRIBUTING задания, RabbitMQ reliability, Re go-redis, minio-go, golang.org/x/image,gen2brain/webp, goexif, SeaweedFS, Valkey.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уро
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содерешения
Отозванная сессия восстанавливается из кэша: остановить Valkey → выполнить logout с ответом 204 → запустить Valkey → прежний токен снова получает 200 вместо 401. Нужен устойчивый отзыв сессии, исключающий доверие старой записи кэша. Причина — handlers.go:296 и подавление ошибки удаления в cache.go:101.
Восстановить комплектность тестов: attachments.py:6 и worker_load.py:8 падают с ModuleNotFoundError: image_gen; часть команд REPORT ссылается на отсутствующие файлы.
- Отозванная сессия восстанавливается из кэша: остановить Valkey → выполнить logout с ответом 204 → запустить Valkey → прежний токен снова получает 200 вместо 401. Нужен устойчивый отзыв сессии, исключающий доверие старой записи кэша. Причина — [handlers.go:296](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/handlers.go#L296) и подавление ошибки удаления в [cache.go:101](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/cache.go#L101).
- Восстановить комплектность тестов: [attachments.py:6](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/tests/attachments.py#L6) и [worker_load.py:8](https://gitea.privcloud.tech/yagera/mtusi2026lab5-fork/src/commit/27fafc6725e9010b36101b422e3f62533452e22a/tests/worker_load.py#L8) падают с ModuleNotFoundError: image_gen; часть команд REPORT ссылается на отсутствующие файлы.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Березин Герман / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
Idempotency-Key), HAProxy с проверками готовности, 2 реплики API, приватный bucket SeaweedFS с отдельными ключами, валидация загрузок (413/415/400/404), janitor, миграции, скрипты restart / stop-one / rolling-update.queued. Оригинал сохраняется в приватный S3-prefixstaging/, затем одной транзакцией создаютсяattachments,jobsиoutbox.appendfsync always,noeviction, volume). Доставка at least once, ack только после COMMIT результата. В сообщении только поляjobs.schema.json, без bytes и credentials.for update skip locked) закрывает разрыв COMMIT/publish.(attachmentt)и детерминированные S3-ключи. Повторнаядоставка ready-задачи — no-op с ack.lease_ownerиattempessing, timeout задачиJOB_TIMEOUT_SECONDS.invalid_image,processing_failed,retry_exhausted).worker failed) и безопасный replay (worker replay <id>) с аудитом вjob_replays. Replayready-задачи —
skipped_ready.GOMEMLIMIT=600MiB, лимит 768 MiB).Команды запуска из чистого clone:
cp .env.example .env
sh scripts/mksecrets.sh
docker compose --env-file .env up -d --build -
make check && make test
make test-persistence ACTION_SCRIPT=scripts/re
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/queue_recovery.py
python3 tests/faults.py
python3 tests/variants.py
python3 tests/worker_load.py
python3 tests/attachments.py
python3 tests/s3_checks.py
Результаты проверок и ссылка на REPORT.md:
Подробное описание и таблица проверок в [REPORводы в
evidence/.retry_exhausted. Replay → ready, повторный replay →skipped_ready.invalid_imageс первой попытки, без повторов.retry_exhausted.Ограничения / известные ошибки:
XTRIMне реализован).XAUTOCLAIMтолько после lease (75 s).tests/variants.pyнужен Pillow.Источники и использование ИИ:
Код и тесты писал с помощью Claude Code (Anthropic), результат проверял запуском сценариев. Источники: README, contracts и
CONTRIBUTING задания, RabbitMQ reliability, Re go-redis, minio-go, golang.org/x/image,gen2brain/webp, goexif, SeaweedFS, Valkey.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.