ЛР4 - БВТ2303 - Голиков- на 4 #13

Closed
Maximillan_Mercer wants to merge 64 commits from Maximillan_Mercer/mtusi2026lab4-fork:solution/BVT2303-Golikov into main
First-time contributor

Лабораторная 4

Автор / группа: Голиков, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен (целевая — 4, уровни 3+4)

Что реализовано и что перенесено

Перенесено из lab3 без изменений

  • PostgreSQL-схема: users, chats, chat_members, messages, sessions, idempotency_keys
  • Argon2id для паролей, opaque bearer token (SHA-256 от 32 случайных байт)
  • Миграции goose, отдельный сервис migrate
  • Публичный HTTP-контракт: /api/v1/users, /chats, /messages, /auth/sessions
  • LB на nginx, две API-реплики, общие сессии в Redis
  • Idempotency-Key на POST /messages, X-Instance-Id во всех ответах
  • Graceful drain на SIGTERM, atomic ready-флаг, SHUTDOWN_DRAIN_SECONDS
  • CPU/RAM лимиты через deploy.resources
  • Upstream keepalive в nginx

Добавлено в lab4

  • S3-хранилище. MinIO через drop-in fork pgsty/silo:RELEASE.2026-09-16T00-00-00Z (оригинальный minio/minio заархивирован в 2025-м). Persistent volume minio_data. Порты 9000/9001 наружу не публикуются; MINIO_BROWSER=off.
  • Bootstrap bucket. Одноразовый сервис mc-init идемпотентно создаёт приватный bucket messenger-attachments, policy и отдельного API-пользователя messenger-api (не root). Root-креды MinIO видят только minio и mc-init, в api не попадают.
  • Миграции 0003 и 0004.
    • 0003: таблицы attachments и message_attachments с ограничениями (status ready/pending/failed, size <= 10 MiB, sha256 32 байта, content_type png/jpeg, filename без slash/ctrl).
    • 0004: ослаблен CHECK messages_text_not_blank — пустой текст разрешён при наличии вложений (lab4 anyOf), whitespace-only по-прежнему запрещён.
  • Три endpoint.
    • POST /chats/{chat_id}/attachments — raw bytes PNG/JPEG.
    • GET /attachments/{id} — метаданные.
    • GET /attachments/{id}/content — байты через авторизованный API, без redirect. Доступ только участникам чата, иначе 404.
  • POST /messages с attachment_ids (0–10, все из этого чата, все ready, anyOf text или attachments). RequestHash расширен: sha256(text) без вложений (обратная совместимость с lab3), sha256(text + 0x00 + ids) с вложениями.
  • Валидация вложений до полного чтения. io.LimitReader(body, maxBytes+1), image.DecodeConfig (только заголовок), MIME по содержимому (http.DetectContentType), запрет опасных filename.
  • Reconciler в API под pg_try_advisory_lock (одна реплика на tick):
    • stale pending (INSERT без Put или без MarkReady) — Delete S3 object + DeletePending row после grace 1 час;
    • orphan objects (Put без INSERT) — List(S3) + ExistingKeys(DB) + Delete тех, что старше grace и отсутствуют в БД.
    • Grace period защищает свежие загрузки и свежие Put-объекты с незакоммиченным INSERT.
  • Healthcheck /health/ready пингует S3 (BucketExists). При отказе MinIO — 503 unavailable без утечек, LB снимает реплики.
  • client_max_body_size=12m в nginx. Без этого nginx режет на 1 MiB по умолчанию, 413 приходит без X-Request-Id, публичный тест падает на missing X-Request-Id.

Команды запуска из чистого clone

Полная инструкция — в разделе «Запуск из чистого clone» в REPORT.md. Кратко:

git clone <fork-url> mtusi2026lab4
cd mtusi2026lab4
git checkout solution/BVT2303-Golikov

# создать secrets/* — 7 файлов: postgres_password, database_url,
# cache_url, minio_root_user, minio_root_password, s3_access_key_id,
# s3_secret_access_key. Значения генерируются оператором, в Git не коммитятся.

cp .env.example .env
docker compose build api && docker compose up -d

# дождаться, пока mc-init создаст bucket и migrate применит 0001–0004
curl -sS http://localhost:8080/health/ready   # {"status":"ok"}

PYTHONUTF8=1 make check && PYTHONUTF8=1 make test

Результаты проверок и ссылка на REPORT.md

Отчёт: REPORT.md в корне репозитория.

  • make check → PASS
  • make test → PASS (lab4 public API scenario)
  • test-persistence → PASS, StartedAt всех контейнеров обновился после scripts/restart.sh, прежний токен работает
  • test-failover → PASS, first_recovery_seconds 5.481 / 5.344

Дополнительно (в evidence/):

  • Ручная поочерёдная остановка api-1 и api-2 (evidence/failover-manual.txt): после каждой остановки обслуживает ровно одна реплика, X-Instance-Id меняется.
  • S3 недоступен (docker stop minio): /health/ready → 503 unavailable без утечек имён сервисов, LB снимает реплики, после start восстанавливается (evidence/s3-down.txt).
  • Reconciler с ускоренными интервалами (10s / 30s): stale pending удалён, pending_left=0 (evidence/reconciler.txt).
  • 10 параллельных upload по 10 MiB: peak RAM каждой реплики 138 / 141.5 MiB ≤ API_MEMORY=256M (evidence/memory-10x10mb.txt).
  • Негативные сценарии вложений (evidence/attachments-negative.txt):
    • 413 на 11 MiB;
    • 415 на PNG без IHDR;
    • 201 с content_type по magic bytes при подмене MIME;
    • 404 на чужой attachment_id и на вложение из другого чата;
    • 400 на 11 attachment_ids, дубликаты, пустой filename, path traversal;
    • ни один отказ не превратился в 500.
  • Приватность bucket (evidence/s3-private.txt): порты 9000/9001 не проброшены, MINIO_BROWSER=off, GET без подписи → 403, используется отдельный пользователь messenger-api (не root).

Ограничения / известные ошибки

Полностью — в разделе «Ограничения и следующие шаги» в REPORT.md. Кратко:

  • Отказ узла. Всё работает на одном хосте: nginx, две API-реплики, PostgreSQL, Redis, MinIO, reconciler. Потеря хоста = потеря системы. PostgreSQL и MinIO без репликации.
  • Отказ MinIO на длительное время / потеря volume: файлы не восстановятся, метаданные в Postgres остаются, download отдаёт 503/404.
  • Grace period reconciler (1 час) не является транзакционной гарантией: теоретически на границе grace и очень медленной загрузки возможен false-positive (удаление свежего объекта). Вероятность пренебрежимо мала для учебного стенда; в реальной работе grace стоит увеличивать и добавлять heartbeat активных загрузок.
  • Reconciler обходит ListObjects и Delete по одному — на больших бакетах это станет дорого.
  • Трек 5 не заявлен (целевая — 4).

Источники и использование ИИ

Скелет курса и контракты (COURSE.md, contracts/openapi.json, contracts/README.md, contracts/infrastructure.json), документация MinIO (mc admin user/policy, bucket policy) и S3 API (PutObject / GetObject / ListObjects), pgx v5, goose, gin. Собственная реализация lab3 как основа.

ИИ (ChatGPT) использован для структуры REPORT.md, вычитки формулировок и подсказок по рутинным местам (политика MinIO, healthcheck). Код, конфигурация, эксперименты и финальные тексты проверены и объясняются автором на защите.

Чек-лист

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
# Лабораторная 4 **Автор / группа:** Голиков, БВТ2303 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен (целевая — 4, уровни 3+4) ## Что реализовано и что перенесено ### Перенесено из lab3 без изменений - PostgreSQL-схема: `users`, `chats`, `chat_members`, `messages`, `sessions`, `idempotency_keys` - Argon2id для паролей, opaque bearer token (SHA-256 от 32 случайных байт) - Миграции goose, отдельный сервис `migrate` - Публичный HTTP-контракт: `/api/v1/users`, `/chats`, `/messages`, `/auth/sessions` - LB на nginx, две API-реплики, общие сессии в Redis - `Idempotency-Key` на `POST /messages`, `X-Instance-Id` во всех ответах - Graceful drain на SIGTERM, atomic ready-флаг, `SHUTDOWN_DRAIN_SECONDS` - CPU/RAM лимиты через `deploy.resources` - Upstream keepalive в nginx ### Добавлено в lab4 - **S3-хранилище.** MinIO через drop-in fork `pgsty/silo:RELEASE.2026-09-16T00-00-00Z` (оригинальный `minio/minio` заархивирован в 2025-м). Persistent volume `minio_data`. Порты 9000/9001 наружу не публикуются; `MINIO_BROWSER=off`. - **Bootstrap bucket.** Одноразовый сервис `mc-init` идемпотентно создаёт приватный bucket `messenger-attachments`, policy и отдельного API-пользователя `messenger-api` (не root). Root-креды MinIO видят только `minio` и `mc-init`, в `api` не попадают. - **Миграции 0003 и 0004.** - `0003`: таблицы `attachments` и `message_attachments` с ограничениями (`status` ready/pending/failed, `size <= 10 MiB`, `sha256` 32 байта, `content_type` png/jpeg, `filename` без slash/ctrl). - `0004`: ослаблен `CHECK messages_text_not_blank` — пустой текст разрешён при наличии вложений (lab4 `anyOf`), whitespace-only по-прежнему запрещён. - **Три endpoint.** - `POST /chats/{chat_id}/attachments` — raw bytes PNG/JPEG. - `GET /attachments/{id}` — метаданные. - `GET /attachments/{id}/content` — байты через авторизованный API, без redirect. Доступ только участникам чата, иначе 404. - **`POST /messages` с `attachment_ids`** (0–10, все из этого чата, все `ready`, `anyOf` text или attachments). `RequestHash` расширен: `sha256(text)` без вложений (обратная совместимость с lab3), `sha256(text + 0x00 + ids)` с вложениями. - **Валидация вложений до полного чтения.** `io.LimitReader(body, maxBytes+1)`, `image.DecodeConfig` (только заголовок), MIME по содержимому (`http.DetectContentType`), запрет опасных `filename`. - **Reconciler в API под `pg_try_advisory_lock`** (одна реплика на tick): - stale pending (`INSERT` без `Put` или без `MarkReady`) — `Delete S3 object` + `DeletePending row` после grace 1 час; - orphan objects (`Put` без `INSERT`) — `List(S3)` + `ExistingKeys(DB)` + `Delete` тех, что старше grace и отсутствуют в БД. - Grace period защищает свежие загрузки и свежие Put-объекты с незакоммиченным `INSERT`. - **Healthcheck `/health/ready` пингует S3** (`BucketExists`). При отказе MinIO — 503 unavailable без утечек, LB снимает реплики. - **`client_max_body_size=12m` в nginx.** Без этого nginx режет на 1 MiB по умолчанию, 413 приходит без `X-Request-Id`, публичный тест падает на `missing X-Request-Id`. ## Команды запуска из чистого clone Полная инструкция — в разделе «Запуск из чистого clone» в `REPORT.md`. Кратко: ```sh git clone <fork-url> mtusi2026lab4 cd mtusi2026lab4 git checkout solution/BVT2303-Golikov # создать secrets/* — 7 файлов: postgres_password, database_url, # cache_url, minio_root_user, minio_root_password, s3_access_key_id, # s3_secret_access_key. Значения генерируются оператором, в Git не коммитятся. cp .env.example .env docker compose build api && docker compose up -d # дождаться, пока mc-init создаст bucket и migrate применит 0001–0004 curl -sS http://localhost:8080/health/ready # {"status":"ok"} PYTHONUTF8=1 make check && PYTHONUTF8=1 make test ``` ## Результаты проверок и ссылка на REPORT.md Отчёт: `REPORT.md` в корне репозитория. - `make check` → PASS - `make test` → PASS (lab4 public API scenario) - `test-persistence` → PASS, `StartedAt` всех контейнеров обновился после `scripts/restart.sh`, прежний токен работает - `test-failover` → PASS, `first_recovery_seconds` 5.481 / 5.344 Дополнительно (в `evidence/`): - **Ручная поочерёдная остановка api-1 и api-2** (`evidence/failover-manual.txt`): после каждой остановки обслуживает ровно одна реплика, `X-Instance-Id` меняется. - **S3 недоступен** (`docker stop minio`): `/health/ready` → 503 unavailable без утечек имён сервисов, LB снимает реплики, после `start` восстанавливается (`evidence/s3-down.txt`). - **Reconciler с ускоренными интервалами** (10s / 30s): stale pending удалён, `pending_left=0` (`evidence/reconciler.txt`). - **10 параллельных upload по 10 MiB**: peak RAM каждой реплики 138 / 141.5 MiB ≤ `API_MEMORY=256M` (`evidence/memory-10x10mb.txt`). - **Негативные сценарии вложений** (`evidence/attachments-negative.txt`): - 413 на 11 MiB; - 415 на PNG без IHDR; - 201 с `content_type` по magic bytes при подмене MIME; - 404 на чужой `attachment_id` и на вложение из другого чата; - 400 на 11 `attachment_ids`, дубликаты, пустой `filename`, path traversal; - ни один отказ не превратился в 500. - **Приватность bucket** (`evidence/s3-private.txt`): порты 9000/9001 не проброшены, `MINIO_BROWSER=off`, GET без подписи → 403, используется отдельный пользователь `messenger-api` (не root). ## Ограничения / известные ошибки Полностью — в разделе «Ограничения и следующие шаги» в `REPORT.md`. Кратко: - **Отказ узла.** Всё работает на одном хосте: nginx, две API-реплики, PostgreSQL, Redis, MinIO, reconciler. Потеря хоста = потеря системы. PostgreSQL и MinIO без репликации. - **Отказ MinIO на длительное время / потеря volume:** файлы не восстановятся, метаданные в Postgres остаются, download отдаёт 503/404. - **Grace period reconciler (1 час)** не является транзакционной гарантией: теоретически на границе grace и очень медленной загрузки возможен false-positive (удаление свежего объекта). Вероятность пренебрежимо мала для учебного стенда; в реальной работе grace стоит увеличивать и добавлять heartbeat активных загрузок. - **Reconciler обходит `ListObjects` и `Delete` по одному** — на больших бакетах это станет дорого. - **Трек 5 не заявлен** (целевая — 4). ## Источники и использование ИИ Скелет курса и контракты (`COURSE.md`, `contracts/openapi.json`, `contracts/README.md`, `contracts/infrastructure.json`), документация MinIO (`mc admin user/policy`, bucket policy) и S3 API (`PutObject` / `GetObject` / `ListObjects`), pgx v5, goose, gin. Собственная реализация lab3 как основа. ИИ (ChatGPT) использован для структуры `REPORT.md`, вычитки формулировок и подсказок по рутинным местам (политика MinIO, healthcheck). Код, конфигурация, эксперименты и финальные тексты проверены и объясняются автором на защите. ## Чек-лист - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, `REPORT.md` содержит инструкцию именно моего решения.
Maximillan_Mercer added 62 commits 2026-10-23 21:24:30 +03:00
- Upload: LimitReader -> DetectContentType -> DecodeConfig -> sha256
- Create(pending) -> Put -> MarkReady
- MarkFailed on Put error (compensation, avoid hanging pending rows)
- Download: member check + status ready via ObjectStorage
- Get: member check by chat_id
- S3_* env + s3_access_key_id/s3_secret_access_key secrets
- depends_on: minio healthy, mc-init completed
- API uses dedicated S3 credentials, not root
- RECONCILER_ENABLED (default true)
- RECONCILER_INTERVAL_SECONDS (default 300 = 5 min)
- RECONCILER_GRACE_SECONDS (default 3600 = 1 hour)
Grace period ensures fresh uploads (< 1h pending) are not touched.
- 11 MiB body -> 413 payload_too_large
- truncated PNG -> 415 unsupported_media_type
- MIME mismatch (PNG bytes as image/jpeg) -> 201, content_type image/png
- outsider access to metadata and bytes -> 404
- foreign-chat attachment_id in message -> 404
- 11 attachment_ids -> 400 invalid_request
- duplicate attachment_ids -> 400 invalid_request
- empty filename -> 400
- path-traversal / backslash / NUL in filename -> 400
All rejections are 4xx; no 500 on user error.
Author
First-time contributor

@veprickiy Прошу прощения что так поздно пишу, нужно было съездить по критически важным делам. Если проверите, то напишите если что-то не так, я поправлю ночью

@veprickiy Прошу прощения что так поздно пишу, нужно было съездить по критически важным делам. Если проверите, то напишите если что-то не так, я поправлю ночью
Owner

Замечания:

  1. Повреждённые изображения принимаются как готовые. Достаточно отправить первые 33 байта tests/fixtures/sample.png с корректной сессией, filename=x.png и Content-Type: image/png. Ожидается 415, фактически 201. Аналогично принят JPEG без данных изображения после SOS. Причина — проверка только заголовка через DecodeConfig: backend/internal/service/attachment.go:80. Это нарушает обязательную валидацию уровней 3–4; нужна проверка целостности с сохранением ресурсных ограничений.
  2. Общий собственный набор тестов — FAIL. В test_cases.py POST в чужой чат отправляется без обязательного Idempotency-Key: тест ожидает 404, сервер закономерно возвращает 400. Исправить запрос в student-tests/test_cases.py:56. Дополнительно тест гонки считает любой Failure конфликтом, включая 5xx: student-tests/test_concurrency.py:65.
  3. Небольшая ошибка контракта: filename=%20%20%20 получает 201, хотя обязательная строка из одних пробелов должна отклоняться с 400. Проверяется только name == "": backend/internal/service/attachment.go:168.
Замечания: 1. Повреждённые изображения принимаются как готовые. Достаточно отправить первые 33 байта tests/fixtures/sample.png с корректной сессией, filename=x.png и Content-Type: image/png. Ожидается 415, фактически 201. Аналогично принят JPEG без данных изображения после SOS. Причина — проверка только заголовка через DecodeConfig: [backend/internal/service/attachment.go:80](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab4-fork/src/commit/4dfaf28082f93656c4787a4791dbb458f610a33b/backend/internal/service/attachment.go#L80). Это нарушает обязательную валидацию уровней 3–4; нужна проверка целостности с сохранением ресурсных ограничений. 2. Общий собственный набор тестов — FAIL. В test_cases.py POST в чужой чат отправляется без обязательного Idempotency-Key: тест ожидает 404, сервер закономерно возвращает 400. Исправить запрос в [student-tests/test_cases.py:56](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab4-fork/src/commit/4dfaf28082f93656c4787a4791dbb458f610a33b/student-tests/test_cases.py#L56). Дополнительно тест гонки считает любой Failure конфликтом, включая 5xx: [student-tests/test_concurrency.py:65](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab4-fork/src/commit/4dfaf28082f93656c4787a4791dbb458f610a33b/student-tests/test_concurrency.py#L65). 3. Небольшая ошибка контракта: filename=%20%20%20 получает 201, хотя обязательная строка из одних пробелов должна отклоняться с 400. Проверяется только name == "": [backend/internal/service/attachment.go:168](https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab4-fork/src/commit/4dfaf28082f93656c4787a4791dbb458f610a33b/backend/internal/service/attachment.go#L168).
Owner

@veprickiy Прошу прощения что так поздно пишу, нужно было съездить по критически важным делам. Если проверите, то напишите если что-то не так, я поправлю ночью

Все нормально. В крайнем случае можно поправить уже после пары.

> @veprickiy Прошу прощения что так поздно пишу, нужно было съездить по критически важным делам. Если проверите, то напишите если что-то не так, я поправлю ночью > Все нормально. В крайнем случае можно поправить уже после пары.
Author
First-time contributor

Да, поправлю после пары, 1 баг довольно большой, поправлю после пары. Тесты поправлю сейчас.

Да, поправлю после пары, 1 баг довольно большой, поправлю после пары. Тесты поправлю сейчас.
Maximillan_Mercer added 2 commits 2026-10-24 07:30:04 +03:00
Author
First-time contributor

1 и 3 вместе потом поправлю, там как раз тест надо будет подкорректировать

1 и 3 вместе потом поправлю, там как раз тест надо будет подкорректировать
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-24 16:17:27 +03:00
Author
First-time contributor

Поправил

Поправил
Author
First-time contributor

@veprickiy А можно ли будет потом переоткрыть PR запрос если я до пятерки доделаю? Я просто сейчас к 5 лабе хотел приступить, но я хотел довести до ума 4 сперва. Например вынести сверщика между SQL и S3 как отдельный элемент в архитектуре, чтобы он не ел API ресурсы. Заодно можно и второй трек сделать.

@veprickiy А можно ли будет потом переоткрыть PR запрос если я до пятерки доделаю? Я просто сейчас к 5 лабе хотел приступить, но я хотел довести до ума 4 сперва. Например вынести сверщика между SQL и S3 как отдельный элемент в архитектуре, чтобы он не ел API ресурсы. Заодно можно и второй трек сделать.

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#13