ЛР4 - БВТ2301 - Чурилин - на 5 #33

Closed
d1frend wants to merge 3 commits from d1frend/mtusi2026lab4:solution/bvt2301-churilin into main
First-time contributor

Лабораторная 4

Автор: Данила Чурилин, БВТ2301.
Целевая оценка: 5, трек 2 — согласованность PostgreSQL и S3.

Реализованы изображения во вложениях сообщений: метаданные хранятся в PostgreSQL, оригиналы — в приватном MinIO S3 bucket. После загрузки через одну API-реплику файл доступен через другую. Перезапуск PostgreSQL, Redis, MinIO, API, frontend и HAProxy с сохранением named volumes сохраняет сессии, метаданные и оригиналы.

  • Из lab3 перенесены две API-реплики за HAProxy, PostgreSQL-сессии, ACL чатов, cursor pagination, идемпотентность сообщений, Redis cache fallback и graceful shutdown.
  • Добавлены Attachment, таблицы attachments и message_attachments, а также attachment_ids во всех слоях Message.
  • Реализованы синхронный upload PNG/JPEG с ответом 201 ready, получение метаданных и авторизованный streaming download оригинала.
  • Поддерживаются сообщения только с вложениями; ограничения «текст или хотя бы одно вложение» защищены приложением и deferred constraint в PostgreSQL.
  • Проверяются фактический MIME, полная декодируемость изображения, SHA-256, filename, размер до 10 MiB и разрешение до 40 млн пикселей.
  • Обрезанные PNG/JPEG, повреждённый IDAT, повреждение после первых 64 KiB, MIME substitution, whitespace/C1/invalid UTF-8 filename отклоняются до записи в S3.
  • На API-реплику ограничены общий параллелизм upload pipeline и количество одновременных полных декодирований; задан GOMEMLIMIT.
  • Bucket создаётся идемпотентно и остаётся приватным. Root credentials доступны только bootstrap-контейнеру; API и reconciler используют отдельного пользователя с минимальной S3 policy.
  • MinIO browser отключён, административные credentials и порты не передаются API и не публикуются на host.

Трек 2 — согласованность PostgreSQL и S3

Добавлен one-shot reconciler с dry-run по умолчанию, режимом --apply и настраиваемым grace period.

Reconciler обнаруживает:

  • S3 object без строки metadata;
  • ready metadata без оригинала;
  • старый незавершённый pending;
  • S3 object, оставшийся у failed metadata;
  • отсутствующий оригинал вложения, уже связанного с сообщением.

Apply удаляет только безопасные orphan/failed/stale objects старше grace period. Метаданные не удаляются: неконсистентные записи условно переводятся в failed. Связанные с сообщениями отсутствующие оригиналы получают manual_repair_required и автоматически не изменяются.

Перед удалением stale object выполняется условный DB transition. Проигранная конкурентная гонка приводит к skipped_concurrent_change, а не к удалению готового оригинала. Создание сообщения и reconciler используют row-level locking и повторную проверку ссылки на свежем READ COMMITTED snapshot.

Отдельно обработан неоднозначный финальный COMMIT: если PostgreSQL применил ready, но API потерял ответ, S3 object не удаляется. API выполняет readback и либо восстанавливает успешный ответ, либо возвращает 503, сохраняя metadata и object для последующей сверки.

Проверены:

  • orphan object и metadata без оригинала;
  • stale pending с object;
  • referenced missing attachment;
  • dry-run без мутаций;
  • apply и повторный idempotent apply;
  • конкурентное изменение metadata перед удалением;
  • потеря ответа после успешного PostgreSQL COMMIT;
  • одновременная недоступность PostgreSQL при readback;
  • зависший S3 cleanup после ошибки PUT;
  • реальный MinIO outage и восстановление;
  • обход inventory на 100 и 1 000 объектах.

Измерение одного локального прогона:

  • 100 injected orphan objects: 9 ms внутри reconciler, 1 978 ms вместе с запуском one-shot контейнера;
  • 1 000 injected orphan objects: 38 ms внутри reconciler, 2 019 ms вместе с запуском контейнера.

Это локальное измерение малого inventory. Вывод о production-масштабируемости по нему не делается.

Подробная методика: REPORT.md.
Результаты: evidence/lab4-results.md.

Запуск

Нужны Docker с Compose v2, GNU Make, Python 3.9+ и OpenSSL.

cp .env.example .env
make init-secrets

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose --env-file .env ps

BASE_URL=http://127.0.0.1:8080 make test

Полная проверка OpenAPI:

python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python

Дополнительные сценарии:

go test ./...
go test -race ./...
go vet ./...

make test-attachment-boundaries
make test-attachment-memory
make test-minio-policy
make test-storage-outage
make test-reconcile
make test-reconcile-scale

Persistence и failover:

make test-persistence ACTION_SCRIPT=./scripts/restart.sh
make test-failover ACTION_SCRIPT=./scripts/stop-one.sh

Результаты проверок

  • Публичный smoke: PASS.
  • OpenAPI 3.1 и JSON Schema validation: PASS.
  • go test ./..., race detector и go vet: PASS.
  • Frontend tests и production build: PASS.
  • Persistence: существующая сессия, metadata и оригинал сохранились.
  • Failover одной API-реплики: 142 успешные записи, 0 ошибок, восстановление за 2.771 s.
  • MinIO outage: readiness вернул JSON 503 за 2.004 s, upload — JSON 503 за 6.016 s; после восстановления прежний оригинал совпал побайтно.
  • Exact boundary: ровно 10 MiB и ровно 40 млн пикселей принимаются.
  • 12 параллельных upload по 6 293 028 bytes: 12/12 успешно за 0.599 s.
  • Пики памяти API-контейнеров: 31 216 107 и 26 214 400 bytes при лимите 256 MiB.
  • Ограниченные S3 credentials не могут создать другой bucket; anonymous GET запрещён.
  • API-контейнеры не содержат MinIO root env или root secrets.
  • Reconciler dry-run/apply/repeat: 4 injected issues, 2 object deletes, 2 перехода metadata в failed, повторный apply — 0 мутаций.

Ограничения

  • Используется один Docker-host и один MinIO instance; HA PostgreSQL, S3, HAProxy и самого host не заявляется.
  • Inventory PostgreSQL и S3 материализуется в памяти с O(N); для большого bucket потребуются pagination, checkpoints и пакетная обработка.
  • Reconciler запускается оператором. Перед периодическим scheduler нужны advisory lock/lease и отдельные метрики.
  • referenced_missing_object автоматически не восстанавливается: необходим backup или известная копия оригинала.
  • SHA-256 проверяется при upload и в smoke-тесте; каждый download повторно hash не вычисляет.
  • Замеры памяти и стоимости inventory выполнены локально одиночными прогонами и не являются production capacity test.

Источники и использование ИИ

Основа решения — собственный проект lab3 и обязательный контракт курса. Использованы Go standard library, pgx/v5, minio-go/v7, Redis Go client, официальный исходный код MinIO и mc. Версии и ссылки перечислены в REPORT.md.

OpenAI Codex использовался для анализа требований, проектирования миграции и механизма согласованности, реализации, fault-тестов, ревью и документации. Все приведённые утверждения проверены воспроизводимыми командами.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт, README задания и публичные тесты не ослаблены.
  • make check, make validate и make test выполнены.
  • Сценарии отказов и безопасности выбранного уровня воспроизведены.
  • Все секреты находятся вне Git и имеют mode 600; отчёт не содержит tokens.
  • REPORT.md содержит инструкцию запуска, методику, фактические результаты и ограничения.
## Лабораторная 4 Автор: Данила Чурилин, БВТ2301. Целевая оценка: **5**, трек **2 — согласованность PostgreSQL и S3**. Реализованы изображения во вложениях сообщений: метаданные хранятся в PostgreSQL, оригиналы — в приватном MinIO S3 bucket. После загрузки через одну API-реплику файл доступен через другую. Перезапуск PostgreSQL, Redis, MinIO, API, frontend и HAProxy с сохранением named volumes сохраняет сессии, метаданные и оригиналы. - Из lab3 перенесены две API-реплики за HAProxy, PostgreSQL-сессии, ACL чатов, cursor pagination, идемпотентность сообщений, Redis cache fallback и graceful shutdown. - Добавлены `Attachment`, таблицы `attachments` и `message_attachments`, а также `attachment_ids` во всех слоях `Message`. - Реализованы синхронный upload PNG/JPEG с ответом `201 ready`, получение метаданных и авторизованный streaming download оригинала. - Поддерживаются сообщения только с вложениями; ограничения «текст или хотя бы одно вложение» защищены приложением и deferred constraint в PostgreSQL. - Проверяются фактический MIME, полная декодируемость изображения, SHA-256, filename, размер до 10 MiB и разрешение до 40 млн пикселей. - Обрезанные PNG/JPEG, повреждённый IDAT, повреждение после первых 64 KiB, MIME substitution, whitespace/C1/invalid UTF-8 filename отклоняются до записи в S3. - На API-реплику ограничены общий параллелизм upload pipeline и количество одновременных полных декодирований; задан `GOMEMLIMIT`. - Bucket создаётся идемпотентно и остаётся приватным. Root credentials доступны только bootstrap-контейнеру; API и reconciler используют отдельного пользователя с минимальной S3 policy. - MinIO browser отключён, административные credentials и порты не передаются API и не публикуются на host. ## Трек 2 — согласованность PostgreSQL и S3 Добавлен one-shot reconciler с dry-run по умолчанию, режимом `--apply` и настраиваемым grace period. Reconciler обнаруживает: - S3 object без строки metadata; - `ready` metadata без оригинала; - старый незавершённый `pending`; - S3 object, оставшийся у `failed` metadata; - отсутствующий оригинал вложения, уже связанного с сообщением. Apply удаляет только безопасные orphan/failed/stale objects старше grace period. Метаданные не удаляются: неконсистентные записи условно переводятся в `failed`. Связанные с сообщениями отсутствующие оригиналы получают `manual_repair_required` и автоматически не изменяются. Перед удалением stale object выполняется условный DB transition. Проигранная конкурентная гонка приводит к `skipped_concurrent_change`, а не к удалению готового оригинала. Создание сообщения и reconciler используют row-level locking и повторную проверку ссылки на свежем `READ COMMITTED` snapshot. Отдельно обработан неоднозначный финальный `COMMIT`: если PostgreSQL применил `ready`, но API потерял ответ, S3 object не удаляется. API выполняет readback и либо восстанавливает успешный ответ, либо возвращает `503`, сохраняя metadata и object для последующей сверки. Проверены: - orphan object и metadata без оригинала; - stale `pending` с object; - referenced missing attachment; - dry-run без мутаций; - apply и повторный idempotent apply; - конкурентное изменение metadata перед удалением; - потеря ответа после успешного PostgreSQL `COMMIT`; - одновременная недоступность PostgreSQL при readback; - зависший S3 cleanup после ошибки PUT; - реальный MinIO outage и восстановление; - обход inventory на 100 и 1 000 объектах. Измерение одного локального прогона: - 100 injected orphan objects: **9 ms** внутри reconciler, **1 978 ms** вместе с запуском one-shot контейнера; - 1 000 injected orphan objects: **38 ms** внутри reconciler, **2 019 ms** вместе с запуском контейнера. Это локальное измерение малого inventory. Вывод о production-масштабируемости по нему не делается. Подробная методика: [REPORT.md](https://gitea.privcloud.tech/d1frend/mtusi2026lab4/src/branch/solution/bvt2301-churilin/REPORT.md). Результаты: [evidence/lab4-results.md](https://gitea.privcloud.tech/d1frend/mtusi2026lab4/src/branch/solution/bvt2301-churilin/evidence/lab4-results.md). ## Запуск Нужны Docker с Compose v2, GNU Make, Python 3.9+ и OpenSSL. ```sh cp .env.example .env make init-secrets docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build docker compose --env-file .env ps BASE_URL=http://127.0.0.1:8080 make test ``` Полная проверка OpenAPI: ```sh python3 -m venv .venv .venv/bin/pip install -r requirements-dev.txt make validate PYTHON=.venv/bin/python ``` Дополнительные сценарии: ```sh go test ./... go test -race ./... go vet ./... make test-attachment-boundaries make test-attachment-memory make test-minio-policy make test-storage-outage make test-reconcile make test-reconcile-scale ``` Persistence и failover: ```sh make test-persistence ACTION_SCRIPT=./scripts/restart.sh make test-failover ACTION_SCRIPT=./scripts/stop-one.sh ``` ## Результаты проверок - Публичный smoke: **PASS**. - OpenAPI 3.1 и JSON Schema validation: **PASS**. - `go test ./...`, race detector и `go vet`: **PASS**. - Frontend tests и production build: **PASS**. - Persistence: существующая сессия, metadata и оригинал сохранились. - Failover одной API-реплики: **142 успешные записи**, 0 ошибок, восстановление за **2.771 s**. - MinIO outage: readiness вернул JSON `503` за **2.004 s**, upload — JSON `503` за **6.016 s**; после восстановления прежний оригинал совпал побайтно. - Exact boundary: ровно **10 MiB** и ровно **40 млн пикселей** принимаются. - 12 параллельных upload по 6 293 028 bytes: 12/12 успешно за **0.599 s**. - Пики памяти API-контейнеров: **31 216 107** и **26 214 400 bytes** при лимите 256 MiB. - Ограниченные S3 credentials не могут создать другой bucket; anonymous GET запрещён. - API-контейнеры не содержат MinIO root env или root secrets. - Reconciler dry-run/apply/repeat: 4 injected issues, 2 object deletes, 2 перехода metadata в `failed`, повторный apply — 0 мутаций. ## Ограничения - Используется один Docker-host и один MinIO instance; HA PostgreSQL, S3, HAProxy и самого host не заявляется. - Inventory PostgreSQL и S3 материализуется в памяти с O(N); для большого bucket потребуются pagination, checkpoints и пакетная обработка. - Reconciler запускается оператором. Перед периодическим scheduler нужны advisory lock/lease и отдельные метрики. - `referenced_missing_object` автоматически не восстанавливается: необходим backup или известная копия оригинала. - SHA-256 проверяется при upload и в smoke-тесте; каждый download повторно hash не вычисляет. - Замеры памяти и стоимости inventory выполнены локально одиночными прогонами и не являются production capacity test. ## Источники и использование ИИ Основа решения — собственный проект lab3 и обязательный контракт курса. Использованы Go standard library, `pgx/v5`, `minio-go/v7`, Redis Go client, официальный исходный код MinIO и `mc`. Версии и ссылки перечислены в `REPORT.md`. OpenAI Codex использовался для анализа требований, проектирования миграции и механизма согласованности, реализации, fault-тестов, ревью и документации. Все приведённые утверждения проверены воспроизводимыми командами. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт, README задания и публичные тесты не ослаблены. - [x] `make check`, `make validate` и `make test` выполнены. - [x] Сценарии отказов и безопасности выбранного уровня воспроизведены. - [x] Все секреты находятся вне Git и имеют mode `600`; отчёт не содержит tokens. - [x] `REPORT.md` содержит инструкцию запуска, методику, фактические результаты и ограничения.
d1frend added 3 commits 2026-10-30 12:39:17 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:03 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#33