ЛР 4 — Группа БВТ2304 — Тюрина — на 4 #16

Closed
Rakshasa wants to merge 3 commits from Rakshasa/mtusi2026lab4-fork:solution/BVT2304-Tyurina into main
First-time contributor

Лабораторная 4

Автор / группа: Тюрина Александра, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Перенесено из lab3 без изменений:

  • HAProxy 2.9 как LB с активными health-check'ами (inter 2s fall 3 rise 2, HTTP/1.0 в option httpchk)
  • 2 реплики API за LB, X-Instance-Id = hostname контейнера
  • PostgreSQL 16 как источник истины (users, chats, messages, sessions, idempotency_keys)
  • Redis 7 с AOF и noeviction как кэш сессий с fallback в PostgreSQL
  • Идемпотентность сообщений через pg_advisory_xact_lock по scope user|method|path|key
  • Сериализация миграций через pg_advisory_lock на выделенном соединении
  • Keyset-пагинация LIMIT+1 по (created_at, id)
  • Graceful shutdown через SIGTERM + srv.Shutdown
  • scripts/restart.sh (рестарт без -v) и scripts/stop-one.sh

Добавлено в lab4:

  • RustFS как приватное S3-совместимое хранилище (образ зафиксирован по digest sha256:ed9210d6...)
  • Миграция 003_attachments.sql (таблицы attachments, message_attachments)
  • Миграция 004_allow_empty_text.sql (снятие CHECK messages_text_check, т.к. контракт разрешает text="" при наличии вложений)
  • src/internal/storage/s3.go — S3-клиент на minio-go/v7 с BucketLookupPath (RustFS поддерживает только path-style)
  • POST /api/v1/chats/{chat_id}/attachments?filename=... — синхронная загрузка с проверкой magic bytes PNG/JPEG, image.DecodeConfig до полной декодировки, лимит 10 MiB через io.LimitReader(r.Body, max+1), лимит 40M пикселей
  • GET /api/v1/attachments/{id} — метаданные (только для участников чата)
  • GET /api/v1/attachments/{id}/content — побайтовое скачивание через io.Copy (используется контекст HTTP-запроса, без преждевременной отмены)
  • attachment_ids в Message (0–10 уникальных UUID, по умолчанию []), проверка принадлежности чату и статуса ready
  • Канонический хеш идемпотентности считается от {text, attachment_ids} (нормализация отсутствующего поля в [])
  • Формат времени time.RFC3339Nano во всех *ToMap (решение проблемы потери микросекундной точности при keyset-пагинации)
  • Фоновый reconciler в main.go (каждые 30с): помечает uploading старше ATTACHMENT_GRACE_SECONDS=600 как failed и удаляет объект из S3 + строку из БД — предотвращает вечные неучтённые объекты

Команды запуска из чистого clone

git clone <fork-url> && cd mtusi2026lab4-fork
cp .env.example .env          # учебные креды: PG_USER=lab4, S3_ACCESS_KEY_ID=...
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
sleep 25                       # ждём readiness всех сервисов
docker compose ps              # все healthy, s3-init Exited(0)
make check
make test
## Лабораторная 4 **Автор / группа:** Тюрина Александра, БВТ2304 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен ### Что реализовано и что перенесено **Перенесено из lab3 без изменений:** - HAProxy 2.9 как LB с активными health-check'ами (`inter 2s fall 3 rise 2`, HTTP/1.0 в `option httpchk`) - 2 реплики API за LB, `X-Instance-Id` = hostname контейнера - PostgreSQL 16 как источник истины (users, chats, messages, sessions, idempotency_keys) - Redis 7 с AOF и `noeviction` как кэш сессий с fallback в PostgreSQL - Идемпотентность сообщений через `pg_advisory_xact_lock` по scope `user|method|path|key` - Сериализация миграций через `pg_advisory_lock` на выделенном соединении - Keyset-пагинация `LIMIT+1` по `(created_at, id)` - Graceful shutdown через SIGTERM + `srv.Shutdown` - `scripts/restart.sh` (рестарт без `-v`) и `scripts/stop-one.sh` **Добавлено в lab4:** - RustFS как приватное S3-совместимое хранилище (образ зафиксирован по digest `sha256:ed9210d6...`) - Миграция `003_attachments.sql` (таблицы `attachments`, `message_attachments`) - Миграция `004_allow_empty_text.sql` (снятие `CHECK messages_text_check`, т.к. контракт разрешает `text=""` при наличии вложений) - `src/internal/storage/s3.go` — S3-клиент на `minio-go/v7` с `BucketLookupPath` (RustFS поддерживает только path-style) - `POST /api/v1/chats/{chat_id}/attachments?filename=...` — синхронная загрузка с проверкой magic bytes PNG/JPEG, `image.DecodeConfig` до полной декодировки, лимит 10 MiB через `io.LimitReader(r.Body, max+1)`, лимит 40M пикселей - `GET /api/v1/attachments/{id}` — метаданные (только для участников чата) - `GET /api/v1/attachments/{id}/content` — побайтовое скачивание через `io.Copy` (используется контекст HTTP-запроса, без преждевременной отмены) - `attachment_ids` в `Message` (0–10 уникальных UUID, по умолчанию `[]`), проверка принадлежности чату и статуса `ready` - Канонический хеш идемпотентности считается от `{text, attachment_ids}` (нормализация отсутствующего поля в `[]`) - Формат времени `time.RFC3339Nano` во всех `*ToMap` (решение проблемы потери микросекундной точности при keyset-пагинации) - Фоновый reconciler в `main.go` (каждые 30с): помечает `uploading` старше `ATTACHMENT_GRACE_SECONDS=600` как `failed` и удаляет объект из S3 + строку из БД — предотвращает вечные неучтённые объекты ### Команды запуска из чистого clone ```bash git clone <fork-url> && cd mtusi2026lab4-fork cp .env.example .env # учебные креды: PG_USER=lab4, S3_ACCESS_KEY_ID=... docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build sleep 25 # ждём readiness всех сервисов docker compose ps # все healthy, s3-init Exited(0) make check make test
Rakshasa added 2 commits 2026-10-26 18:19:16 +03:00
Rakshasa changed title from Solution/bvt2304 tyurina to ЛР 4 — Группа БВТ2304 — Тюрина — на 4 2026-10-26 18:20:06 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:09:16 +03:00
Owner
  • src/internal/handler/handler.go:179: усечённый PNG принимается с 201 вместо 415. DecodeConfig подтверждает только заголовок; добавьте проверку целостности изображения после раннего ограничения пикселей.
  • src/internal/handler/handler.go:692: PNG с Content-Type: image/jpeg получает 201 вместо 415. Сравнивайте определённый формат с заголовком запроса.
  • docker-compose.yml:37: API использует административные ключи RustFS и может создать посторонний bucket. Выделите отдельную учётную запись с правами только на bucket вложений.
  • src/internal/store/postgres.go:670, src/cmd/server/main.go:224: при ошибке удаления из S3 запись уже переведена в failed, а следующий проход выбирает только uploading. После восстановления S3 объект остаётся навсегда. Сохраняйте возможность повторного удаления до подтверждённой очистки.
- [src/internal/handler/handler.go:179](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/src/internal/handler/handler.go#L179): усечённый PNG принимается с 201 вместо 415. DecodeConfig подтверждает только заголовок; добавьте проверку целостности изображения после раннего ограничения пикселей. - [src/internal/handler/handler.go:692](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/src/internal/handler/handler.go#L692): PNG с Content-Type: image/jpeg получает 201 вместо 415. Сравнивайте определённый формат с заголовком запроса. - [docker-compose.yml:37](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/docker-compose.yml#L37): API использует административные ключи RustFS и может создать посторонний bucket. Выделите отдельную учётную запись с правами только на bucket вложений. - [src/internal/store/postgres.go:670](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/src/internal/store/postgres.go#L670), [src/cmd/server/main.go:224](https://gitea.privcloud.tech/Rakshasa/mtusi2026lab4-fork/src/commit/8c7375a6ea5f823ffce9f1b1e068a10b13266535/src/cmd/server/main.go#L224): при ошибке удаления из S3 запись уже переведена в failed, а следующий проход выбирает только uploading. После восстановления S3 объект остаётся навсегда. Сохраняйте возможность повторного удаления до подтверждённой очистки.
Owner

Переоткрой пожалуйста мр)

Переоткрой пожалуйста мр)
Rakshasa reopened this pull request 2026-11-01 21:19:25 +03:00
Rakshasa added 1 commit 2026-11-05 13:37:42 +03:00
Rakshasa closed this pull request 2026-11-17 18:32:24 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
3 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#16