ЛР 4 — БВТ2302 — Заморский — на 5 #161

Open
0pavel1 wants to merge 1 commits from 0pavel1/mtusi2026lab4:solution/bvt2302-zamorskiy into main
First-time contributor

Лабораторная 4

Автор / группа: Заморский Павел, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 (Согласованность двух хранилищ PostgreSQL <-> S3: reconciler с dry-run, grace period и доказательством сохранения активных объектов)

Что реализовано и что перенесено:

  • Перенесена архитектура ЛР3 (HAProxy 3.0, 2+ API-реплики, X-Instance-Id, Idempotency-Key, PostgreSQL 18, Redis 7.4, сервис миграций migrate).
  • Добавлено приватное S3-хранилище MinIO (RELEASE.2025-09-07T16-13-09Z по digest, консоль отключена, порты наружу не публикуются) и идемпотентный init-сервис s3-init (mc mb, mc anonymous set none, отдельный пользователь messenger_api_key с IAM-политикой строго на один bucket).
  • Реализована потоковая валидация internal/media (<=10 MiB, проверка magic bytes и структуры PNG/JPEG, DecodeConfig до полной распаковки для блокировки >40M пикселей кодом 413 без скачка RAM, временный буфер удаляется в defer).
  • Добавлены миграция migrations/003_attachments.sql, эндпоинты /api/v1/chats/{chat_id}/attachments, /api/v1/attachments/{id}, /api/v1/attachments/{id}/content, поддержка attachment_ids в сообщениях, синхронная компенсация в S3 при отказе БД и фоновый/CLI сверщик Reconcile.

Команды запуска из чистого clone:

cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make test-grade4
make test-track2

Результаты проверок и ссылка на REPORT.md:

  • make check, make test, make test-persistence и make test-failover (142 записи, failed_attempts=0, 2.906s) проходят с PASS.
  • make test-grade4 (413/415/400/404, загрузка на одну реплику -> её остановка -> скачивание с другой, 403 при прямом GET к S3, 503 при отказе MinIO, 12 конкурентных загрузок по 4.41 MiB с пиком памяти API 56.23 MiB / 256 MiB) и make test-track2 (обнаружение orphan/missing с двух сторон, dry-run, защита grace period и повторный идемпотентный запуск) подтверждены в REPORT.md и evidence/.

Ограничения / известные ошибки:

  • Загрузка оригиналов синхронная (201 ready); асинхронная обработка и генерация thumbnail будут добавлены в ЛР5.

Источники и использование ИИ:

  • Документация MinIO S3 & IAM Policies, minio/minio-go/v7, Go image/png / image/jpeg, PostgreSQL 18. Помощь ИИ (Google Antigravity) при разработке тестов и оформлении отчёта.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 4 Автор / группа: Заморский Павел, БВТ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 (Согласованность двух хранилищ PostgreSQL <-> S3: reconciler с dry-run, grace period и доказательством сохранения активных объектов) Что реализовано и что перенесено: - Перенесена архитектура ЛР3 (HAProxy 3.0, 2+ API-реплики, `X-Instance-Id`, `Idempotency-Key`, PostgreSQL 18, Redis 7.4, сервис миграций `migrate`). - Добавлено приватное S3-хранилище MinIO (`RELEASE.2025-09-07T16-13-09Z` по digest, консоль отключена, порты наружу не публикуются) и идемпотентный init-сервис `s3-init` (`mc mb`, `mc anonymous set none`, отдельный пользователь `messenger_api_key` с IAM-политикой строго на один bucket). - Реализована потоковая валидация `internal/media` (`<=10 MiB`, проверка magic bytes и структуры PNG/JPEG, `DecodeConfig` до полной распаковки для блокировки >40M пикселей кодом `413` без скачка RAM, временный буфер удаляется в `defer`). - Добавлены миграция `migrations/003_attachments.sql`, эндпоинты `/api/v1/chats/{chat_id}/attachments`, `/api/v1/attachments/{id}`, `/api/v1/attachments/{id}/content`, поддержка `attachment_ids` в сообщениях, синхронная компенсация в S3 при отказе БД и фоновый/CLI сверщик `Reconcile`. Команды запуска из чистого clone: ```sh cp .env.example .env docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build make check make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh make test-grade4 make test-track2 ``` Результаты проверок и ссылка на REPORT.md: - `make check`, `make test`, `make test-persistence` и `make test-failover` (`142` записи, `failed_attempts=0`, `2.906s`) проходят с `PASS`. - `make test-grade4` (`413`/`415`/`400`/`404`, загрузка на одну реплику -> её остановка -> скачивание с другой, `403` при прямом GET к S3, `503` при отказе MinIO, 12 конкурентных загрузок по `4.41 MiB` с пиком памяти API `56.23 MiB / 256 MiB`) и `make test-track2` (обнаружение orphan/missing с двух сторон, `dry-run`, защита grace period и повторный идемпотентный запуск) подтверждены в [REPORT.md](REPORT.md) и `evidence/`. Ограничения / известные ошибки: - Загрузка оригиналов синхронная (`201 ready`); асинхронная обработка и генерация thumbnail будут добавлены в ЛР5. Источники и использование ИИ: - Документация MinIO S3 & IAM Policies, `minio/minio-go/v7`, Go `image/png` / `image/jpeg`, PostgreSQL 18. Помощь ИИ (Google Antigravity) при разработке тестов и оформлении отчёта. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
0pavel1 added 1 commit 2026-11-19 19:29:09 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/0pavel1/mtusi2026lab4 solution/bvt2302-zamorskiy:0pavel1-solution/bvt2302-zamorskiy
git checkout 0pavel1-solution/bvt2302-zamorskiy
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#161