Автор / группа: Тюрина Александра, БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Перенесено из lab4 без изменений: HAProxy + 2 реплики API, PostgreSQL как источник истины, Redis-кэш сессий с fallback, идемпотентность сообщений (pg_advisory_xact_lock), keyset-пагинация (created_at, id), graceful shutdown, приватный bucket RustFS (по digest), проверка принадлежности вложения чату.
Добавлено в lab5:
Асинхронная загрузка:POST /attachments возвращает 202 queued, готовность через метаданные. Байты в staging/{uuid}, метаданные + задание в одной транзакции (outbox-эквивалент).
Брокер: Redis Streams (attachment_jobs) с consumer groups, durable AOF, noeviction.
Worker: отдельный сервис, XReadGroup + XACK только после устойчивого эффекта. ClaimJob с lease_until (защита от зависших задач), reclaim подхватывает собственные PEL-записи через XPendingExt+XClaim.
Retry + DLQ: backoff 5s·2^(n-1), cap 60s, jitter ±25%. Permanent → failed, transient → retry до JOB_MAX_ATTEMPTS. Запись в attachment_jobs_dlq.
Идемпотентность эффекта: уникальный индекс (attachment_id, pipeline_version, kind) в attachment_variants — повтор не создаёт дубли.
Варианты: thumbnail 256×256 JPEG q85, crop 128×128 JPEG q90, optimized WebP (вписан в 1280 без апскейла). EXIF не переносится, AutoOrientation(true).
Очистка: janitor удаляет staging/ после фиксации результата (retention STAGING_RETENTION_SECONDS).
Дедупликация: внутри чата — возврат готового вложения (200); cross-chat reuse убран (используется собственный staging/ ключ).
Команды запуска из чистого clone
git clone <fork-url> &&cd mtusi2026lab5_fork
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until docker compose ps | grep -q 'lb.*healthy';do sleep 1;done
make check
make test
Безопасная остановка: docker compose --env-file .env down
Удаление данных: docker compose --env-file .env down -v
$ make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
SPOF: PostgreSQL и RustFS — single point of failure (один Docker-host).
Не реализовано: строгая IAM-политика с раздельными правами на S3 для API и worker (используются единые учебные ключи).
Учебное упрощение:reclaim подхватывает собственные PEL-записи; преждевременный ack безопасен благодаря lease в БД, но это компромисс в пользу простоты.
Не измерялось: полный нагрузочный профиль (p95/p99, sustained RPS) — относится к треку 5.
Источники и использование ИИ
Библиотеки: Go 1.22, chi/v5, pgx/v5, go-redis/v9, minio-go/v7, imaging, nativewebp (чистый Go, без CGO).
ИИ-ассистент: консультации по архитектуре (outbox-эквивалент, lease, ключ идемпотентности эффекта), отладка инверсии transient/permanent, подготовка REPORT.md. Дефекты, найденные в ходе работы:
Дубль номера миграции 005 (исправлено 011_fix_jobs_schema.sql).
Инверсия классификации ошибок retry (исправлено на !perr.permanent).
Cross-chat reuse удалял чужой оригинал (убран, теперь всегда staging/).
Весь код написан и проверен автором прогонами.
Checklist
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
**Автор / группа:** Тюрина Александра, БВТ2304
**Целевая оценка (3/4/5):** 4
**Трек 5, если заявлен:** не заявлен
### Что реализовано и что перенесено
**Перенесено из lab4 без изменений:** HAProxy + 2 реплики API, PostgreSQL как источник истины, Redis-кэш сессий с fallback, идемпотентность сообщений (`pg_advisory_xact_lock`), keyset-пагинация `(created_at, id)`, graceful shutdown, приватный bucket RustFS (по digest), проверка принадлежности вложения чату.
**Добавлено в lab5:**
- **Асинхронная загрузка:** `POST /attachments` возвращает `202 queued`, готовность через метаданные. Байты в `staging/{uuid}`, метаданные + задание в одной транзакции (outbox-эквивалент).
- **Брокер:** Redis Streams (`attachment_jobs`) с consumer groups, durable AOF, `noeviction`.
- **Worker:** отдельный сервис, `XReadGroup` + `XACK` только после устойчивого эффекта. `ClaimJob` с `lease_until` (защита от зависших задач), `reclaim` подхватывает собственные PEL-записи через `XPendingExt`+`XClaim`.
- **Retry + DLQ:** backoff `5s·2^(n-1)`, cap 60s, jitter ±25%. Permanent → `failed`, transient → retry до `JOB_MAX_ATTEMPTS`. Запись в `attachment_jobs_dlq`.
- **Идемпотентность эффекта:** уникальный индекс `(attachment_id, pipeline_version, kind)` в `attachment_variants` — повтор не создаёт дубли.
- **Варианты:** thumbnail 256×256 JPEG q85, crop 128×128 JPEG q90, optimized WebP (вписан в 1280 без апскейла). EXIF не переносится, `AutoOrientation(true)`.
- **Очистка:** janitor удаляет `staging/` после фиксации результата (retention `STAGING_RETENTION_SECONDS`).
- **Дедупликация:** внутри чата — возврат готового вложения (`200`); cross-chat reuse убран (используется собственный `staging/` ключ).
### Команды запуска из чистого clone
```bash
git clone <fork-url> && cd mtusi2026lab5_fork
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until docker compose ps | grep -q 'lb.*healthy'; do sleep 1; done
make check
make test
```
Безопасная остановка: `docker compose --env-file .env down`
Удаление данных: `docker compose --env-file .env down -v`
Сценарии отказов:
```bash
./student-tests/fault_worker_down.sh
./student-tests/fault_commit_publish.sh
./student-tests/fault_before_ack.sh after_commit_before_ack
./student-tests/fault_before_ack.sh after_s3_before_commit
./student-tests/fault_lease.sh
./student-tests/fault_retry_replay.sh
./student-tests/load_parallel.sh
```
### Результаты проверок и ссылка на REPORT.md
```text
$ make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
```
Полный отчёт: `REPORT.md`
Доказательства: `evidence/A_worker_down.txt`, `B_commit_publish.txt`, `C_after_commit_before_ack.txt`, `C_after_s3_before_commit.txt`, `D_lease.txt`, `E_retry_replay.txt`, `F_parallel.txt`
### Ограничения / известные ошибки
- **SPOF:** PostgreSQL и RustFS — single point of failure (один Docker-host).
- **Не реализовано:** строгая IAM-политика с раздельными правами на S3 для API и worker (используются единые учебные ключи).
- **Учебное упрощение:** `reclaim` подхватывает собственные PEL-записи; преждевременный ack безопасен благодаря lease в БД, но это компромисс в пользу простоты.
- **Не измерялось:** полный нагрузочный профиль (p95/p99, sustained RPS) — относится к треку 5.
### Источники и использование ИИ
- **Библиотеки:** Go 1.22, `chi/v5`, `pgx/v5`, `go-redis/v9`, `minio-go/v7`, `imaging`, `nativewebp` (чистый Go, без CGO).
- **Инфраструктура:** HAProxy 2.9, PostgreSQL 16, Redis 7, RustFS (S3-совместимое).
- **ИИ-ассистент:** консультации по архитектуре (outbox-эквивалент, lease, ключ идемпотентности эффекта), отладка инверсии `transient/permanent`, подготовка `REPORT.md`. Дефекты, найденные в ходе работы:
1. Дубль номера миграции `005` (исправлено `011_fix_jobs_schema.sql`).
2. Инверсия классификации ошибок retry (исправлено на `!perr.permanent`).
3. Cross-chat reuse удалял чужой оригинал (убран, теперь всегда `staging/`).
Весь код написан и проверен автором прогонами.
### Checklist
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] `make check` и `make test` выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Тюрина Александра, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Перенесено из lab4 без изменений: HAProxy + 2 реплики API, PostgreSQL как источник истины, Redis-кэш сессий с fallback, идемпотентность сообщений (
pg_advisory_xact_lock), keyset-пагинация(created_at, id), graceful shutdown, приватный bucket RustFS (по digest), проверка принадлежности вложения чату.Добавлено в lab5:
POST /attachmentsвозвращает202 queued, готовность через метаданные. Байты вstaging/{uuid}, метаданные + задание в одной транзакции (outbox-эквивалент).attachment_jobs) с consumer groups, durable AOF,noeviction.XReadGroup+XACKтолько после устойчивого эффекта.ClaimJobсlease_until(защита от зависших задач),reclaimподхватывает собственные PEL-записи черезXPendingExt+XClaim.5s·2^(n-1), cap 60s, jitter ±25%. Permanent →failed, transient → retry доJOB_MAX_ATTEMPTS. Запись вattachment_jobs_dlq.(attachment_id, pipeline_version, kind)вattachment_variants— повтор не создаёт дубли.AutoOrientation(true).staging/после фиксации результата (retentionSTAGING_RETENTION_SECONDS).200); cross-chat reuse убран (используется собственныйstaging/ключ).Команды запуска из чистого clone
Безопасная остановка:
docker compose --env-file .env downУдаление данных:
docker compose --env-file .env down -vСценарии отказов:
Результаты проверок и ссылка на REPORT.md
Полный отчёт:
REPORT.mdДоказательства:
evidence/A_worker_down.txt,B_commit_publish.txt,C_after_commit_before_ack.txt,C_after_s3_before_commit.txt,D_lease.txt,E_retry_replay.txt,F_parallel.txtОграничения / известные ошибки
reclaimподхватывает собственные PEL-записи; преждевременный ack безопасен благодаря lease в БД, но это компромисс в пользу простоты.Источники и использование ИИ
Библиотеки: Go 1.22,
chi/v5,pgx/v5,go-redis/v9,minio-go/v7,imaging,nativewebp(чистый Go, без CGO).Инфраструктура: HAProxy 2.9, PostgreSQL 16, Redis 7, RustFS (S3-совместимое).
ИИ-ассистент: консультации по архитектуре (outbox-эквивалент, lease, ключ идемпотентности эффекта), отладка инверсии
transient/permanent, подготовкаREPORT.md. Дефекты, найденные в ходе работы:005(исправлено011_fix_jobs_schema.sql).!perr.permanent).staging/).Весь код написан и проверен автором прогонами.
Checklist
make checkиmake testвыполнены; приложен реальный вывод.ЛР5 - БВТ2304 - Тюринаto ЛР5 - БВТ2304 - Тюрина - на 4View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.