ЛР 5 — БВТ2303 — Морозова — на 4 #77

Open
MiniLynx wants to merge 3 commits from MiniLynx/mtusi2026lab5-fork:solution/BVT2303-Morozova into main
First-time contributor

Лабораторная 5

Автор / группа: Морозова Ольга Андреевна, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено:

Что перенесено из lab4

  • PostgreSQL, Argon2id, sessions (с кэшем в Redis), горизонтальное масштабирование, Nginx.
  • Механизм идемпотентности idempotency_keys для сообщений.
  • S3-хранилище и приватный bucket, S3Store с таймаутами и ретраями.

Что реализовано

  • Миграция 0002_attachments.sql: добавлены attachment_variants, attachment_jobs (outbox+lease), поля staging_key, pipeline_version, ready_at, failed_at. Таблица attachments теперь содержит status IN ('queued','processing','ready','failed').
  • UploadAttachment возвращает 202, статус queued; DownloadAttachment → 409 для не-ready.
  • Добавлены cmd/outbox, cmd/worker (обработка изображений, process.go).
  • src/domain/broker.go — обёртка Redis Streams.
  • compose.yaml: сервисы outbox (1 реплика) и worker (2 реплики), миграции вынесены в отдельный сервис migrate.
  • В attachments.go: EnqueueAttachment, ClaimJob, ClaimJobByID, MarkReady, RetryJob, RequeueStuck, ReplayFailed, MarkFailedPermanent, GetVariantKey, SelectUnpublishedJobs, MarkPublished.

Команды запуска из чистого clone:

git clone https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork
cd mtusi2026lab5-fork

# 1. Секреты (не входят в Git)
mkdir -p secrets
printf 'local-dev-postgres-password\n' > secrets/postgres_password.txt
printf 'postgres://messenger:local-dev-postgres-password@postgres:5432/messenger?sslmode=disable\n' > secrets/database_url.txt
printf 'redis://redis:6379/0\n' > secrets/cache_url.txt
printf 'minioadmin\n' > secrets/minio_root_user.txt
printf 'minioadmin-dev-password\n' > secrets/minio_root_password.txt
printf 'messenger-api\n' > secrets/s3_access_key_id.txt
printf 'messenger-api-dev-secret\n' > secrets/s3_secret_access_key.txt
chmod 600 secrets/*.txt

# 2. Локальный .env
cp .env.example .env
# ВАЖНО: В .env нужно исправить S3_ENDPOINT на s3:9000 (без http://)
sed -i 's|S3_ENDPOINT=.*|S3_ENDPOINT=s3:9000|' .env

# 3. Python для проверок
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt

# 4. Скрипты
chmod +x scripts/migrate.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh

# 5. Сборка и запуск

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться /health/ready
docker compose ps

Результаты проверок и ссылка на REPORT.md:

  • REPORT.md
  • Результаты публичных тестов, а также собственных тестов находятся в evidence

Ограничения / известные ошибки:

  • At-least-once: доставка Redis Streams + идемпотентный эффект ≠ exactly-once. При падении между XADD и MarkPublished возможна повторная публикация; повторный worker это корректно обрабатывает, но сообщение в Stream продублируется.
  • Replay доступен через endpoint POST /api/v1/attachments/{id}/replay (расширение сверх OpenAPI). В отчёте зафиксировано, что это не меняет семантику обязательных путей.
  • Optimized — JPEG q=70 вместо WebP (WebP-кодирование требует cgo-зависимостей, которых в alpine-сборке без CGO нет). Контракт допускает JPEG как «перекодированный» вариант; в отчёте явно указано.
  • Broker = Redis Streams вместо RabbitMQ — обосновано тем, что Redis уже нужен для кэша сессий, AOF включён, это уменьшает количество контейнеров. Если Redis упадёт без AOF-реплики, неопубликованные задачи будут ждать в attachment_jobs (outbox) — они не потеряются.
  • DLQ — пока реестр attachment_jobs.status='failed' + last_error_code, без отдельного UI. Для оператора — SELECT из БД и endpoint replay.
  • Не реализовано: версионирование нескольких pipeline (трек 5), auto-scaling worker’а по queue lag (трек 1), fault-injection с версионированием (трек 2). Уровень 5 не заявлен.
  • Нагрузка проверена только smoke + make test; полноценных замеров throughput/latency pipeline не делалось (не требуется для уровня 4).

Источники и использование ИИ:

  • Использованные источники: README.md, COURSE.md, contracts/openapi.json, документация Go, MinIO (mc), PostgreSQL, Redis Streams, Nginx, Docker.

  • Библиотеки: Go 1.26 (stdlib), github.com/google/uuid v1.6.0, github.com/jackc/pgx/v5 v5.5.5, github.com/redis/go-redis/v9 v9.5.1, golang.org/x/crypto v0.23.0, github.com/minio/minio-go/v7 v7.0.72, golang.org/x/image v0.48.0. Тесты — Python 3 (stdlib).

  • Помощь ИИ: Deepseek — написание и проверка кода.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 5 Автор / группа: Морозова Ольга Андреевна, БВТ2303 Целевая оценка (3/4/5): **4** Трек 5, если заявлен: не заявлен ### Что реализовано и что перенесено: Что перенесено из lab4 - PostgreSQL, Argon2id, sessions (с кэшем в Redis), горизонтальное масштабирование, Nginx. - Механизм идемпотентности `idempotency_keys` для сообщений. - S3-хранилище и приватный bucket, `S3Store` с таймаутами и ретраями. Что реализовано - Миграция `0002_attachments.sql`: добавлены `attachment_variants`, `attachment_jobs` (outbox+lease), поля `staging_key`, `pipeline_version`, `ready_at`, `failed_at`. Таблица `attachments` теперь содержит `status IN ('queued','processing','ready','failed')`. - `UploadAttachment` возвращает 202, статус `queued`; `DownloadAttachment` → 409 для не-ready. - Добавлены `cmd/outbox`, `cmd/worker` (обработка изображений, `process.go`). - `src/domain/broker.go` — обёртка Redis Streams. - `compose.yaml`: сервисы `outbox` (1 реплика) и `worker` (2 реплики), миграции вынесены в отдельный сервис `migrate`. - В `attachments.go`: `EnqueueAttachment`, `ClaimJob`, `ClaimJobByID`, `MarkReady`, `RetryJob`, `RequeueStuck`, `ReplayFailed`, `MarkFailedPermanent`, `GetVariantKey`, `SelectUnpublishedJobs`, `MarkPublished`. ### Команды запуска из чистого clone: ```sh git clone https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork cd mtusi2026lab5-fork # 1. Секреты (не входят в Git) mkdir -p secrets printf 'local-dev-postgres-password\n' > secrets/postgres_password.txt printf 'postgres://messenger:local-dev-postgres-password@postgres:5432/messenger?sslmode=disable\n' > secrets/database_url.txt printf 'redis://redis:6379/0\n' > secrets/cache_url.txt printf 'minioadmin\n' > secrets/minio_root_user.txt printf 'minioadmin-dev-password\n' > secrets/minio_root_password.txt printf 'messenger-api\n' > secrets/s3_access_key_id.txt printf 'messenger-api-dev-secret\n' > secrets/s3_secret_access_key.txt chmod 600 secrets/*.txt # 2. Локальный .env cp .env.example .env # ВАЖНО: В .env нужно исправить S3_ENDPOINT на s3:9000 (без http://) sed -i 's|S3_ENDPOINT=.*|S3_ENDPOINT=s3:9000|' .env # 3. Python для проверок python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements-dev.txt # 4. Скрипты chmod +x scripts/migrate.sh scripts/restart.sh scripts/stop-one.sh scripts/restore-api.sh # 5. Сборка и запуск docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build # Дождаться /health/ready docker compose ps ``` ### Результаты проверок и ссылка на REPORT.md: - [REPORT.md](https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork/src/branch/solution/BVT2303-Morozova/REPORT.md) - Результаты публичных тестов, а также собственных тестов находятся в [evidence](https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork/src/branch/solution/BVT2303-Morozova/evidence) Ограничения / известные ошибки: - **At-least-once:** доставка Redis Streams + идемпотентный эффект ≠ exactly-once. При падении между XADD и MarkPublished возможна повторная публикация; повторный worker это корректно обрабатывает, но сообщение в Stream продублируется. - **Replay** доступен через endpoint `POST /api/v1/attachments/{id}/replay` (расширение сверх OpenAPI). В отчёте зафиксировано, что это не меняет семантику обязательных путей. - **Optimized** — JPEG q=70 вместо WebP (WebP-кодирование требует cgo-зависимостей, которых в alpine-сборке без CGO нет). Контракт допускает JPEG как «перекодированный» вариант; в отчёте явно указано. - **Broker = Redis Streams** вместо RabbitMQ — обосновано тем, что Redis уже нужен для кэша сессий, AOF включён, это уменьшает количество контейнеров. Если Redis упадёт без AOF-реплики, неопубликованные задачи будут ждать в `attachment_jobs` (outbox) — они не потеряются. - **DLQ** — пока реестр `attachment_jobs.status='failed'` + `last_error_code`, без отдельного UI. Для оператора — `SELECT` из БД и endpoint replay. - **Не реализовано:** версионирование нескольких pipeline (трек 5), auto-scaling worker’а по queue lag (трек 1), fault-injection с версионированием (трек 2). Уровень 5 не заявлен. - **Нагрузка** проверена только smoke + `make test`; полноценных замеров throughput/latency pipeline не делалось (не требуется для уровня 4). Источники и использование ИИ: - Использованные источники: [README.md](README.md), [COURSE.md](COURSE.md), [contracts/openapi.json](contracts/openapi.json), документация Go, MinIO (mc), PostgreSQL, Redis Streams, Nginx, Docker. - Библиотеки: Go 1.26 (stdlib), github.com/google/uuid v1.6.0, github.com/jackc/pgx/v5 v5.5.5, github.com/redis/go-redis/v9 v9.5.1, golang.org/x/crypto v0.23.0, github.com/minio/minio-go/v7 v7.0.72, golang.org/x/image v0.48.0. Тесты — Python 3 (stdlib). - Помощь ИИ: Deepseek — написание и проверка кода. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
MiniLynx added 3 commits 2026-11-16 20:46:50 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/MiniLynx/mtusi2026lab5-fork solution/BVT2303-Morozova:MiniLynx-solution/BVT2303-Morozova
git checkout MiniLynx-solution/BVT2303-Morozova
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#77