Автор / группа: Морозова Ольга Андреевна, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
Что перенесено из lab4
PostgreSQL, Argon2id, sessions (с кэшем в Redis), горизонтальное масштабирование, Nginx.
Механизм идемпотентности idempotency_keys для сообщений.
S3-хранилище и приватный bucket, S3Store с таймаутами и ретраями.
Что реализовано
Миграция 0002_attachments.sql: добавлены attachment_variants, attachment_jobs (outbox+lease), поля staging_key, pipeline_version, ready_at, failed_at. Таблица attachments теперь содержит status IN ('queued','processing','ready','failed').
UploadAttachment возвращает 202, статус queued; DownloadAttachment → 409 для не-ready.
Результаты публичных тестов, а также собственных тестов находятся в evidence
Ограничения / известные ошибки:
At-least-once: доставка Redis Streams + идемпотентный эффект ≠ exactly-once. При падении между XADD и MarkPublished возможна повторная публикация; повторный worker это корректно обрабатывает, но сообщение в Stream продублируется.
Replay доступен через endpoint POST /api/v1/attachments/{id}/replay (расширение сверх OpenAPI). В отчёте зафиксировано, что это не меняет семантику обязательных путей.
Optimized — JPEG q=70 вместо WebP (WebP-кодирование требует cgo-зависимостей, которых в alpine-сборке без CGO нет). Контракт допускает JPEG как «перекодированный» вариант; в отчёте явно указано.
Broker = Redis Streams вместо RabbitMQ — обосновано тем, что Redis уже нужен для кэша сессий, AOF включён, это уменьшает количество контейнеров. Если Redis упадёт без AOF-реплики, неопубликованные задачи будут ждать в attachment_jobs (outbox) — они не потеряются.
DLQ — пока реестр attachment_jobs.status='failed' + last_error_code, без отдельного UI. Для оператора — SELECT из БД и endpoint replay.
Не реализовано: версионирование нескольких pipeline (трек 5), auto-scaling worker’а по queue lag (трек 1), fault-injection с версионированием (трек 2). Уровень 5 не заявлен.
Нагрузка проверена только smoke + make test; полноценных замеров throughput/latency pipeline не делалось (не требуется для уровня 4).
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
Автор / группа: Морозова Ольга Андреевна, БВТ2303
Целевая оценка (3/4/5): **4**
Трек 5, если заявлен: не заявлен
### Что реализовано и что перенесено:
Что перенесено из lab4
- PostgreSQL, Argon2id, sessions (с кэшем в Redis), горизонтальное масштабирование, Nginx.
- Механизм идемпотентности `idempotency_keys` для сообщений.
- S3-хранилище и приватный bucket, `S3Store` с таймаутами и ретраями.
Что реализовано
- Миграция `0002_attachments.sql`: добавлены `attachment_variants`, `attachment_jobs` (outbox+lease), поля `staging_key`, `pipeline_version`, `ready_at`, `failed_at`. Таблица `attachments` теперь содержит `status IN ('queued','processing','ready','failed')`.
- `UploadAttachment` возвращает 202, статус `queued`; `DownloadAttachment` → 409 для не-ready.
- Добавлены `cmd/outbox`, `cmd/worker` (обработка изображений, `process.go`).
- `src/domain/broker.go` — обёртка Redis Streams.
- `compose.yaml`: сервисы `outbox` (1 реплика) и `worker` (2 реплики), миграции вынесены в отдельный сервис `migrate`.
- В `attachments.go`: `EnqueueAttachment`, `ClaimJob`, `ClaimJobByID`, `MarkReady`, `RetryJob`, `RequeueStuck`, `ReplayFailed`, `MarkFailedPermanent`, `GetVariantKey`, `SelectUnpublishedJobs`, `MarkPublished`.
### Команды запуска из чистого clone:
```sh
git clone https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork
cd mtusi2026lab5-fork
# 1. Секреты (не входят в Git)
mkdir -p secrets
printf 'local-dev-postgres-password\n' > secrets/postgres_password.txt
printf 'postgres://messenger:local-dev-postgres-password@postgres:5432/messenger?sslmode=disable\n' > secrets/database_url.txt
printf 'redis://redis:6379/0\n' > secrets/cache_url.txt
printf 'minioadmin\n' > secrets/minio_root_user.txt
printf 'minioadmin-dev-password\n' > secrets/minio_root_password.txt
printf 'messenger-api\n' > secrets/s3_access_key_id.txt
printf 'messenger-api-dev-secret\n' > secrets/s3_secret_access_key.txt
chmod 600 secrets/*.txt
# 2. Локальный .env
cp .env.example .env
# ВАЖНО: В .env нужно исправить S3_ENDPOINT на s3:9000 (без http://)
sed -i 's|S3_ENDPOINT=.*|S3_ENDPOINT=s3:9000|' .env
# 3. Python для проверок
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt
# 4. Скрипты
chmod +x scripts/migrate.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh
# 5. Сборка и запуск
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться /health/ready
docker compose ps
```
### Результаты проверок и ссылка на REPORT.md:
- [REPORT.md](https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork/src/branch/solution/BVT2303-Morozova/REPORT.md)
- Результаты публичных тестов, а также собственных тестов находятся в [evidence](https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork/src/branch/solution/BVT2303-Morozova/evidence)
Ограничения / известные ошибки:
- **At-least-once:** доставка Redis Streams + идемпотентный эффект ≠ exactly-once. При падении между XADD и MarkPublished возможна повторная публикация; повторный worker это корректно обрабатывает, но сообщение в Stream продублируется.
- **Replay** доступен через endpoint `POST /api/v1/attachments/{id}/replay` (расширение сверх OpenAPI). В отчёте зафиксировано, что это не меняет семантику обязательных путей.
- **Optimized** — JPEG q=70 вместо WebP (WebP-кодирование требует cgo-зависимостей, которых в alpine-сборке без CGO нет). Контракт допускает JPEG как «перекодированный» вариант; в отчёте явно указано.
- **Broker = Redis Streams** вместо RabbitMQ — обосновано тем, что Redis уже нужен для кэша сессий, AOF включён, это уменьшает количество контейнеров. Если Redis упадёт без AOF-реплики, неопубликованные задачи будут ждать в `attachment_jobs` (outbox) — они не потеряются.
- **DLQ** — пока реестр `attachment_jobs.status='failed'` + `last_error_code`, без отдельного UI. Для оператора — `SELECT` из БД и endpoint replay.
- **Не реализовано:** версионирование нескольких pipeline (трек 5), auto-scaling worker’а по queue lag (трек 1), fault-injection с версионированием (трек 2). Уровень 5 не заявлен.
- **Нагрузка** проверена только smoke + `make test`; полноценных замеров throughput/latency pipeline не делалось (не требуется для уровня 4).
Источники и использование ИИ:
- Использованные источники: [README.md](README.md), [COURSE.md](COURSE.md), [contracts/openapi.json](contracts/openapi.json), документация Go, MinIO (mc), PostgreSQL, Redis Streams, Nginx, Docker.
- Библиотеки: Go 1.26 (stdlib), github.com/google/uuid v1.6.0, github.com/jackc/pgx/v5 v5.5.5, github.com/redis/go-redis/v9 v9.5.1, golang.org/x/crypto v0.23.0, github.com/minio/minio-go/v7 v7.0.72, golang.org/x/image v0.48.0. Тесты — Python 3 (stdlib).
- Помощь ИИ: Deepseek — написание и проверка кода.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Морозова Ольга Андреевна, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
Что перенесено из lab4
idempotency_keysдля сообщений.S3Storeс таймаутами и ретраями.Что реализовано
0002_attachments.sql: добавленыattachment_variants,attachment_jobs(outbox+lease), поляstaging_key,pipeline_version,ready_at,failed_at. Таблицаattachmentsтеперь содержитstatus IN ('queued','processing','ready','failed').UploadAttachmentвозвращает 202, статусqueued;DownloadAttachment→ 409 для не-ready.cmd/outbox,cmd/worker(обработка изображений,process.go).src/domain/broker.go— обёртка Redis Streams.compose.yaml: сервисыoutbox(1 реплика) иworker(2 реплики), миграции вынесены в отдельный сервисmigrate.attachments.go:EnqueueAttachment,ClaimJob,ClaimJobByID,MarkReady,RetryJob,RequeueStuck,ReplayFailed,MarkFailedPermanent,GetVariantKey,SelectUnpublishedJobs,MarkPublished.Команды запуска из чистого clone:
Результаты проверок и ссылка на REPORT.md:
Ограничения / известные ошибки:
POST /api/v1/attachments/{id}/replay(расширение сверх OpenAPI). В отчёте зафиксировано, что это не меняет семантику обязательных путей.attachment_jobs(outbox) — они не потеряются.attachment_jobs.status='failed'+last_error_code, без отдельного UI. Для оператора —SELECTиз БД и endpoint replay.make test; полноценных замеров throughput/latency pipeline не делалось (не требуется для уровня 4).Источники и использование ИИ:
Использованные источники: README.md, COURSE.md, contracts/openapi.json, документация Go, MinIO (mc), PostgreSQL, Redis Streams, Nginx, Docker.
Библиотеки: Go 1.26 (stdlib), github.com/google/uuid v1.6.0, github.com/jackc/pgx/v5 v5.5.5, github.com/redis/go-redis/v9 v9.5.1, golang.org/x/crypto v0.23.0, github.com/minio/minio-go/v7 v7.0.72, golang.org/x/image v0.48.0. Тесты — Python 3 (stdlib).
Помощь ИИ: Deepseek — написание и проверка кода.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.