Реализованы изображения во вложениях сообщений: метаданные хранятся в PostgreSQL, оригиналы — в приватном MinIO S3 bucket. После загрузки через одну API-реплику файл доступен через другую. Перезапуск PostgreSQL, Redis, MinIO, API, frontend и HAProxy с сохранением named volumes сохраняет сессии, метаданные и оригиналы.
Из lab3 перенесены две API-реплики за HAProxy, PostgreSQL-сессии, ACL чатов, cursor pagination, идемпотентность сообщений, Redis cache fallback и graceful shutdown.
Добавлены Attachment, таблицы attachments и message_attachments, а также attachment_ids во всех слоях Message.
Реализованы синхронный upload PNG/JPEG с ответом 201 ready, получение метаданных и авторизованный streaming download оригинала.
Поддерживаются сообщения только с вложениями; ограничения «текст или хотя бы одно вложение» защищены приложением и deferred constraint в PostgreSQL.
Проверяются фактический MIME, полная декодируемость изображения, SHA-256, filename, размер до 10 MiB и разрешение до 40 млн пикселей.
Обрезанные PNG/JPEG, повреждённый IDAT, повреждение после первых 64 KiB, MIME substitution, whitespace/C1/invalid UTF-8 filename отклоняются до записи в S3.
На API-реплику ограничены общий параллелизм upload pipeline и количество одновременных полных декодирований; задан GOMEMLIMIT.
Bucket создаётся идемпотентно и остаётся приватным. Root credentials доступны только bootstrap-контейнеру; API и reconciler используют отдельного пользователя с минимальной S3 policy.
MinIO browser отключён, административные credentials и порты не передаются API и не публикуются на host.
Трек 2 — согласованность PostgreSQL и S3
Добавлен one-shot reconciler с dry-run по умолчанию, режимом --apply и настраиваемым grace period.
Reconciler обнаруживает:
S3 object без строки metadata;
ready metadata без оригинала;
старый незавершённый pending;
S3 object, оставшийся у failed metadata;
отсутствующий оригинал вложения, уже связанного с сообщением.
Apply удаляет только безопасные orphan/failed/stale objects старше grace period. Метаданные не удаляются: неконсистентные записи условно переводятся в failed. Связанные с сообщениями отсутствующие оригиналы получают manual_repair_required и автоматически не изменяются.
Перед удалением stale object выполняется условный DB transition. Проигранная конкурентная гонка приводит к skipped_concurrent_change, а не к удалению готового оригинала. Создание сообщения и reconciler используют row-level locking и повторную проверку ссылки на свежем READ COMMITTED snapshot.
Отдельно обработан неоднозначный финальный COMMIT: если PostgreSQL применил ready, но API потерял ответ, S3 object не удаляется. API выполняет readback и либо восстанавливает успешный ответ, либо возвращает 503, сохраняя metadata и object для последующей сверки.
Проверены:
orphan object и metadata без оригинала;
stale pending с object;
referenced missing attachment;
dry-run без мутаций;
apply и повторный idempotent apply;
конкурентное изменение metadata перед удалением;
потеря ответа после успешного PostgreSQL COMMIT;
одновременная недоступность PostgreSQL при readback;
зависший S3 cleanup после ошибки PUT;
реальный MinIO outage и восстановление;
обход inventory на 100 и 1 000 объектах.
Измерение одного локального прогона:
100 injected orphan objects: 9 ms внутри reconciler, 1 978 ms вместе с запуском one-shot контейнера;
1 000 injected orphan objects: 38 ms внутри reconciler, 2 019 ms вместе с запуском контейнера.
Это локальное измерение малого inventory. Вывод о production-масштабируемости по нему не делается.
go test ./...
go test -race ./...
go vet ./...
make test-attachment-boundaries
make test-attachment-memory
make test-minio-policy
make test-storage-outage
make test-reconcile
make test-reconcile-scale
Persistence и failover:
make test-persistence ACTION_SCRIPT=./scripts/restart.sh
make test-failover ACTION_SCRIPT=./scripts/stop-one.sh
Результаты проверок
Публичный smoke: PASS.
OpenAPI 3.1 и JSON Schema validation: PASS.
go test ./..., race detector и go vet: PASS.
Frontend tests и production build: PASS.
Persistence: существующая сессия, metadata и оригинал сохранились.
Failover одной API-реплики: 142 успешные записи, 0 ошибок, восстановление за 2.771 s.
MinIO outage: readiness вернул JSON 503 за 2.004 s, upload — JSON 503 за 6.016 s; после восстановления прежний оригинал совпал побайтно.
Exact boundary: ровно 10 MiB и ровно 40 млн пикселей принимаются.
12 параллельных upload по 6 293 028 bytes: 12/12 успешно за 0.599 s.
Пики памяти API-контейнеров: 31 216 107 и 26 214 400 bytes при лимите 256 MiB.
Ограниченные S3 credentials не могут создать другой bucket; anonymous GET запрещён.
API-контейнеры не содержат MinIO root env или root secrets.
Reconciler dry-run/apply/repeat: 4 injected issues, 2 object deletes, 2 перехода metadata в failed, повторный apply — 0 мутаций.
Ограничения
Используется один Docker-host и один MinIO instance; HA PostgreSQL, S3, HAProxy и самого host не заявляется.
Inventory PostgreSQL и S3 материализуется в памяти с O(N); для большого bucket потребуются pagination, checkpoints и пакетная обработка.
Reconciler запускается оператором. Перед периодическим scheduler нужны advisory lock/lease и отдельные метрики.
referenced_missing_object автоматически не восстанавливается: необходим backup или известная копия оригинала.
SHA-256 проверяется при upload и в smoke-тесте; каждый download повторно hash не вычисляет.
Замеры памяти и стоимости inventory выполнены локально одиночными прогонами и не являются production capacity test.
Источники и использование ИИ
Основа решения — собственный проект lab3 и обязательный контракт курса. Использованы Go standard library, pgx/v5, minio-go/v7, Redis Go client, официальный исходный код MinIO и mc. Версии и ссылки перечислены в REPORT.md.
OpenAI Codex использовался для анализа требований, проектирования миграции и механизма согласованности, реализации, fault-тестов, ревью и документации. Все приведённые утверждения проверены воспроизводимыми командами.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт, README задания и публичные тесты не ослаблены.
make check, make validate и make test выполнены.
Сценарии отказов и безопасности выбранного уровня воспроизведены.
Все секреты находятся вне Git и имеют mode 600; отчёт не содержит tokens.
REPORT.md содержит инструкцию запуска, методику, фактические результаты и ограничения.
## Лабораторная 4
Автор: Данила Чурилин, БВТ2301.
Целевая оценка: **5**, трек **2 — согласованность PostgreSQL и S3**.
Реализованы изображения во вложениях сообщений: метаданные хранятся в PostgreSQL, оригиналы — в приватном MinIO S3 bucket. После загрузки через одну API-реплику файл доступен через другую. Перезапуск PostgreSQL, Redis, MinIO, API, frontend и HAProxy с сохранением named volumes сохраняет сессии, метаданные и оригиналы.
- Из lab3 перенесены две API-реплики за HAProxy, PostgreSQL-сессии, ACL чатов, cursor pagination, идемпотентность сообщений, Redis cache fallback и graceful shutdown.
- Добавлены `Attachment`, таблицы `attachments` и `message_attachments`, а также `attachment_ids` во всех слоях `Message`.
- Реализованы синхронный upload PNG/JPEG с ответом `201 ready`, получение метаданных и авторизованный streaming download оригинала.
- Поддерживаются сообщения только с вложениями; ограничения «текст или хотя бы одно вложение» защищены приложением и deferred constraint в PostgreSQL.
- Проверяются фактический MIME, полная декодируемость изображения, SHA-256, filename, размер до 10 MiB и разрешение до 40 млн пикселей.
- Обрезанные PNG/JPEG, повреждённый IDAT, повреждение после первых 64 KiB, MIME substitution, whitespace/C1/invalid UTF-8 filename отклоняются до записи в S3.
- На API-реплику ограничены общий параллелизм upload pipeline и количество одновременных полных декодирований; задан `GOMEMLIMIT`.
- Bucket создаётся идемпотентно и остаётся приватным. Root credentials доступны только bootstrap-контейнеру; API и reconciler используют отдельного пользователя с минимальной S3 policy.
- MinIO browser отключён, административные credentials и порты не передаются API и не публикуются на host.
## Трек 2 — согласованность PostgreSQL и S3
Добавлен one-shot reconciler с dry-run по умолчанию, режимом `--apply` и настраиваемым grace period.
Reconciler обнаруживает:
- S3 object без строки metadata;
- `ready` metadata без оригинала;
- старый незавершённый `pending`;
- S3 object, оставшийся у `failed` metadata;
- отсутствующий оригинал вложения, уже связанного с сообщением.
Apply удаляет только безопасные orphan/failed/stale objects старше grace period. Метаданные не удаляются: неконсистентные записи условно переводятся в `failed`. Связанные с сообщениями отсутствующие оригиналы получают `manual_repair_required` и автоматически не изменяются.
Перед удалением stale object выполняется условный DB transition. Проигранная конкурентная гонка приводит к `skipped_concurrent_change`, а не к удалению готового оригинала. Создание сообщения и reconciler используют row-level locking и повторную проверку ссылки на свежем `READ COMMITTED` snapshot.
Отдельно обработан неоднозначный финальный `COMMIT`: если PostgreSQL применил `ready`, но API потерял ответ, S3 object не удаляется. API выполняет readback и либо восстанавливает успешный ответ, либо возвращает `503`, сохраняя metadata и object для последующей сверки.
Проверены:
- orphan object и metadata без оригинала;
- stale `pending` с object;
- referenced missing attachment;
- dry-run без мутаций;
- apply и повторный idempotent apply;
- конкурентное изменение metadata перед удалением;
- потеря ответа после успешного PostgreSQL `COMMIT`;
- одновременная недоступность PostgreSQL при readback;
- зависший S3 cleanup после ошибки PUT;
- реальный MinIO outage и восстановление;
- обход inventory на 100 и 1 000 объектах.
Измерение одного локального прогона:
- 100 injected orphan objects: **9 ms** внутри reconciler, **1 978 ms** вместе с запуском one-shot контейнера;
- 1 000 injected orphan objects: **38 ms** внутри reconciler, **2 019 ms** вместе с запуском контейнера.
Это локальное измерение малого inventory. Вывод о production-масштабируемости по нему не делается.
Подробная методика: [REPORT.md](https://gitea.privcloud.tech/d1frend/mtusi2026lab4/src/branch/solution/bvt2301-churilin/REPORT.md).
Результаты: [evidence/lab4-results.md](https://gitea.privcloud.tech/d1frend/mtusi2026lab4/src/branch/solution/bvt2301-churilin/evidence/lab4-results.md).
## Запуск
Нужны Docker с Compose v2, GNU Make, Python 3.9+ и OpenSSL.
```sh
cp .env.example .env
make init-secrets
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose --env-file .env ps
BASE_URL=http://127.0.0.1:8080 make test
```
Полная проверка OpenAPI:
```sh
python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
```
Дополнительные сценарии:
```sh
go test ./...
go test -race ./...
go vet ./...
make test-attachment-boundaries
make test-attachment-memory
make test-minio-policy
make test-storage-outage
make test-reconcile
make test-reconcile-scale
```
Persistence и failover:
```sh
make test-persistence ACTION_SCRIPT=./scripts/restart.sh
make test-failover ACTION_SCRIPT=./scripts/stop-one.sh
```
## Результаты проверок
- Публичный smoke: **PASS**.
- OpenAPI 3.1 и JSON Schema validation: **PASS**.
- `go test ./...`, race detector и `go vet`: **PASS**.
- Frontend tests и production build: **PASS**.
- Persistence: существующая сессия, metadata и оригинал сохранились.
- Failover одной API-реплики: **142 успешные записи**, 0 ошибок, восстановление за **2.771 s**.
- MinIO outage: readiness вернул JSON `503` за **2.004 s**, upload — JSON `503` за **6.016 s**; после восстановления прежний оригинал совпал побайтно.
- Exact boundary: ровно **10 MiB** и ровно **40 млн пикселей** принимаются.
- 12 параллельных upload по 6 293 028 bytes: 12/12 успешно за **0.599 s**.
- Пики памяти API-контейнеров: **31 216 107** и **26 214 400 bytes** при лимите 256 MiB.
- Ограниченные S3 credentials не могут создать другой bucket; anonymous GET запрещён.
- API-контейнеры не содержат MinIO root env или root secrets.
- Reconciler dry-run/apply/repeat: 4 injected issues, 2 object deletes, 2 перехода metadata в `failed`, повторный apply — 0 мутаций.
## Ограничения
- Используется один Docker-host и один MinIO instance; HA PostgreSQL, S3, HAProxy и самого host не заявляется.
- Inventory PostgreSQL и S3 материализуется в памяти с O(N); для большого bucket потребуются pagination, checkpoints и пакетная обработка.
- Reconciler запускается оператором. Перед периодическим scheduler нужны advisory lock/lease и отдельные метрики.
- `referenced_missing_object` автоматически не восстанавливается: необходим backup или известная копия оригинала.
- SHA-256 проверяется при upload и в smoke-тесте; каждый download повторно hash не вычисляет.
- Замеры памяти и стоимости inventory выполнены локально одиночными прогонами и не являются production capacity test.
## Источники и использование ИИ
Основа решения — собственный проект lab3 и обязательный контракт курса. Использованы Go standard library, `pgx/v5`, `minio-go/v7`, Redis Go client, официальный исходный код MinIO и `mc`. Версии и ссылки перечислены в `REPORT.md`.
OpenAI Codex использовался для анализа требований, проектирования миграции и механизма согласованности, реализации, fault-тестов, ревью и документации. Все приведённые утверждения проверены воспроизводимыми командами.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт, README задания и публичные тесты не ослаблены.
- [x] `make check`, `make validate` и `make test` выполнены.
- [x] Сценарии отказов и безопасности выбранного уровня воспроизведены.
- [x] Все секреты находятся вне Git и имеют mode `600`; отчёт не содержит tokens.
- [x] `REPORT.md` содержит инструкцию запуска, методику, фактические результаты и ограничения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор: Данила Чурилин, БВТ2301.
Целевая оценка: 5, трек 2 — согласованность PostgreSQL и S3.
Реализованы изображения во вложениях сообщений: метаданные хранятся в PostgreSQL, оригиналы — в приватном MinIO S3 bucket. После загрузки через одну API-реплику файл доступен через другую. Перезапуск PostgreSQL, Redis, MinIO, API, frontend и HAProxy с сохранением named volumes сохраняет сессии, метаданные и оригиналы.
Attachment, таблицыattachmentsиmessage_attachments, а такжеattachment_idsво всех слояхMessage.201 ready, получение метаданных и авторизованный streaming download оригинала.GOMEMLIMIT.Трек 2 — согласованность PostgreSQL и S3
Добавлен one-shot reconciler с dry-run по умолчанию, режимом
--applyи настраиваемым grace period.Reconciler обнаруживает:
readymetadata без оригинала;pending;failedmetadata;Apply удаляет только безопасные orphan/failed/stale objects старше grace period. Метаданные не удаляются: неконсистентные записи условно переводятся в
failed. Связанные с сообщениями отсутствующие оригиналы получаютmanual_repair_requiredи автоматически не изменяются.Перед удалением stale object выполняется условный DB transition. Проигранная конкурентная гонка приводит к
skipped_concurrent_change, а не к удалению готового оригинала. Создание сообщения и reconciler используют row-level locking и повторную проверку ссылки на свежемREAD COMMITTEDsnapshot.Отдельно обработан неоднозначный финальный
COMMIT: если PostgreSQL применилready, но API потерял ответ, S3 object не удаляется. API выполняет readback и либо восстанавливает успешный ответ, либо возвращает503, сохраняя metadata и object для последующей сверки.Проверены:
pendingс object;COMMIT;Измерение одного локального прогона:
Это локальное измерение малого inventory. Вывод о production-масштабируемости по нему не делается.
Подробная методика: REPORT.md.
Результаты: evidence/lab4-results.md.
Запуск
Нужны Docker с Compose v2, GNU Make, Python 3.9+ и OpenSSL.
Полная проверка OpenAPI:
Дополнительные сценарии:
Persistence и failover:
Результаты проверок
go test ./..., race detector иgo vet: PASS.503за 2.004 s, upload — JSON503за 6.016 s; после восстановления прежний оригинал совпал побайтно.failed, повторный apply — 0 мутаций.Ограничения
referenced_missing_objectавтоматически не восстанавливается: необходим backup или известная копия оригинала.Источники и использование ИИ
Основа решения — собственный проект lab3 и обязательный контракт курса. Использованы Go standard library,
pgx/v5,minio-go/v7, Redis Go client, официальный исходный код MinIO иmc. Версии и ссылки перечислены вREPORT.md.OpenAI Codex использовался для анализа требований, проектирования миграции и механизма согласованности, реализации, fault-тестов, ревью и документации. Все приведённые утверждения проверены воспроизводимыми командами.
make check,make validateиmake testвыполнены.600; отчёт не содержит tokens.REPORT.mdсодержит инструкцию запуска, методику, фактические результаты и ограничения.Принято. Закрываю МР.
Pull request closed