ЛР5 - БВТ2304 - Тюрина - на 4 #58

Open
Rakshasa wants to merge 1 commits from Rakshasa/mtusi2026lab5_fork:solution/bvt2304-tyurina into main
First-time contributor

Лабораторная 5

Автор / группа: Тюрина Александра, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Перенесено из lab4 без изменений: HAProxy + 2 реплики API, PostgreSQL как источник истины, Redis-кэш сессий с fallback, идемпотентность сообщений (pg_advisory_xact_lock), keyset-пагинация (created_at, id), graceful shutdown, приватный bucket RustFS (по digest), проверка принадлежности вложения чату.

Добавлено в lab5:

  • Асинхронная загрузка: POST /attachments возвращает 202 queued, готовность через метаданные. Байты в staging/{uuid}, метаданные + задание в одной транзакции (outbox-эквивалент).
  • Брокер: Redis Streams (attachment_jobs) с consumer groups, durable AOF, noeviction.
  • Worker: отдельный сервис, XReadGroup + XACK только после устойчивого эффекта. ClaimJob с lease_until (защита от зависших задач), reclaim подхватывает собственные PEL-записи через XPendingExt+XClaim.
  • Retry + DLQ: backoff 5s·2^(n-1), cap 60s, jitter ±25%. Permanent → failed, transient → retry до JOB_MAX_ATTEMPTS. Запись в attachment_jobs_dlq.
  • Идемпотентность эффекта: уникальный индекс (attachment_id, pipeline_version, kind) в attachment_variants — повтор не создаёт дубли.
  • Варианты: thumbnail 256×256 JPEG q85, crop 128×128 JPEG q90, optimized WebP (вписан в 1280 без апскейла). EXIF не переносится, AutoOrientation(true).
  • Очистка: janitor удаляет staging/ после фиксации результата (retention STAGING_RETENTION_SECONDS).
  • Дедупликация: внутри чата — возврат готового вложения (200); cross-chat reuse убран (используется собственный staging/ ключ).

Команды запуска из чистого clone

git clone <fork-url> && cd mtusi2026lab5_fork
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until docker compose ps | grep -q 'lb.*healthy'; do sleep 1; done
make check
make test

Безопасная остановка: docker compose --env-file .env down
Удаление данных: docker compose --env-file .env down -v

Сценарии отказов:

./student-tests/fault_worker_down.sh
./student-tests/fault_commit_publish.sh
./student-tests/fault_before_ack.sh after_commit_before_ack
./student-tests/fault_before_ack.sh after_s3_before_commit
./student-tests/fault_lease.sh
./student-tests/fault_retry_replay.sh
./student-tests/load_parallel.sh

Результаты проверок и ссылка на REPORT.md

$ make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.

Полный отчёт: REPORT.md
Доказательства: evidence/A_worker_down.txt, B_commit_publish.txt, C_after_commit_before_ack.txt, C_after_s3_before_commit.txt, D_lease.txt, E_retry_replay.txt, F_parallel.txt

Ограничения / известные ошибки

  • SPOF: PostgreSQL и RustFS — single point of failure (один Docker-host).
  • Не реализовано: строгая IAM-политика с раздельными правами на S3 для API и worker (используются единые учебные ключи).
  • Учебное упрощение: reclaim подхватывает собственные PEL-записи; преждевременный ack безопасен благодаря lease в БД, но это компромисс в пользу простоты.
  • Не измерялось: полный нагрузочный профиль (p95/p99, sustained RPS) — относится к треку 5.

Источники и использование ИИ

  • Библиотеки: Go 1.22, chi/v5, pgx/v5, go-redis/v9, minio-go/v7, imaging, nativewebp (чистый Go, без CGO).

  • Инфраструктура: HAProxy 2.9, PostgreSQL 16, Redis 7, RustFS (S3-совместимое).

  • ИИ-ассистент: консультации по архитектуре (outbox-эквивалент, lease, ключ идемпотентности эффекта), отладка инверсии transient/permanent, подготовка REPORT.md. Дефекты, найденные в ходе работы:

    1. Дубль номера миграции 005 (исправлено 011_fix_jobs_schema.sql).
    2. Инверсия классификации ошибок retry (исправлено на !perr.permanent).
    3. Cross-chat reuse удалял чужой оригинал (убран, теперь всегда staging/).

    Весь код написан и проверен автором прогонами.

Checklist

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 **Автор / группа:** Тюрина Александра, БВТ2304 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен ### Что реализовано и что перенесено **Перенесено из lab4 без изменений:** HAProxy + 2 реплики API, PostgreSQL как источник истины, Redis-кэш сессий с fallback, идемпотентность сообщений (`pg_advisory_xact_lock`), keyset-пагинация `(created_at, id)`, graceful shutdown, приватный bucket RustFS (по digest), проверка принадлежности вложения чату. **Добавлено в lab5:** - **Асинхронная загрузка:** `POST /attachments` возвращает `202 queued`, готовность через метаданные. Байты в `staging/{uuid}`, метаданные + задание в одной транзакции (outbox-эквивалент). - **Брокер:** Redis Streams (`attachment_jobs`) с consumer groups, durable AOF, `noeviction`. - **Worker:** отдельный сервис, `XReadGroup` + `XACK` только после устойчивого эффекта. `ClaimJob` с `lease_until` (защита от зависших задач), `reclaim` подхватывает собственные PEL-записи через `XPendingExt`+`XClaim`. - **Retry + DLQ:** backoff `5s·2^(n-1)`, cap 60s, jitter ±25%. Permanent → `failed`, transient → retry до `JOB_MAX_ATTEMPTS`. Запись в `attachment_jobs_dlq`. - **Идемпотентность эффекта:** уникальный индекс `(attachment_id, pipeline_version, kind)` в `attachment_variants` — повтор не создаёт дубли. - **Варианты:** thumbnail 256×256 JPEG q85, crop 128×128 JPEG q90, optimized WebP (вписан в 1280 без апскейла). EXIF не переносится, `AutoOrientation(true)`. - **Очистка:** janitor удаляет `staging/` после фиксации результата (retention `STAGING_RETENTION_SECONDS`). - **Дедупликация:** внутри чата — возврат готового вложения (`200`); cross-chat reuse убран (используется собственный `staging/` ключ). ### Команды запуска из чистого clone ```bash git clone <fork-url> && cd mtusi2026lab5_fork cp .env.example .env docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build until docker compose ps | grep -q 'lb.*healthy'; do sleep 1; done make check make test ``` Безопасная остановка: `docker compose --env-file .env down` Удаление данных: `docker compose --env-file .env down -v` Сценарии отказов: ```bash ./student-tests/fault_worker_down.sh ./student-tests/fault_commit_publish.sh ./student-tests/fault_before_ack.sh after_commit_before_ack ./student-tests/fault_before_ack.sh after_s3_before_commit ./student-tests/fault_lease.sh ./student-tests/fault_retry_replay.sh ./student-tests/load_parallel.sh ``` ### Результаты проверок и ссылка на REPORT.md ```text $ make test python3 tests/smoke.py --base-url "http://localhost:8080" PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. ``` Полный отчёт: `REPORT.md` Доказательства: `evidence/A_worker_down.txt`, `B_commit_publish.txt`, `C_after_commit_before_ack.txt`, `C_after_s3_before_commit.txt`, `D_lease.txt`, `E_retry_replay.txt`, `F_parallel.txt` ### Ограничения / известные ошибки - **SPOF:** PostgreSQL и RustFS — single point of failure (один Docker-host). - **Не реализовано:** строгая IAM-политика с раздельными правами на S3 для API и worker (используются единые учебные ключи). - **Учебное упрощение:** `reclaim` подхватывает собственные PEL-записи; преждевременный ack безопасен благодаря lease в БД, но это компромисс в пользу простоты. - **Не измерялось:** полный нагрузочный профиль (p95/p99, sustained RPS) — относится к треку 5. ### Источники и использование ИИ - **Библиотеки:** Go 1.22, `chi/v5`, `pgx/v5`, `go-redis/v9`, `minio-go/v7`, `imaging`, `nativewebp` (чистый Go, без CGO). - **Инфраструктура:** HAProxy 2.9, PostgreSQL 16, Redis 7, RustFS (S3-совместимое). - **ИИ-ассистент:** консультации по архитектуре (outbox-эквивалент, lease, ключ идемпотентности эффекта), отладка инверсии `transient/permanent`, подготовка `REPORT.md`. Дефекты, найденные в ходе работы: 1. Дубль номера миграции `005` (исправлено `011_fix_jobs_schema.sql`). 2. Инверсия классификации ошибок retry (исправлено на `!perr.permanent`). 3. Cross-chat reuse удалял чужой оригинал (убран, теперь всегда `staging/`). Весь код написан и проверен автором прогонами. ### Checklist - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Rakshasa added 1 commit 2026-11-12 18:50:59 +03:00
Rakshasa changed title from ЛР5 - БВТ2304 - Тюрина to ЛР5 - БВТ2304 - Тюрина - на 4 2026-11-12 18:51:24 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Rakshasa/mtusi2026lab5_fork solution/bvt2304-tyurina:Rakshasa-solution/bvt2304-tyurina
git checkout Rakshasa-solution/bvt2304-tyurina
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#58