ЛР 4 — БВТ2303 — Пластинин — на 5 #1

Closed
dizi wants to merge 16 commits from dizi/mtusi2026lab4:solution/bvt2303-plastinin into main
First-time contributor

Лабораторная 4

Автор / группа: Пластинин Денис / БВТ2303
Целевая оценка: 5
Трек 5: трек 2 — согласованность PostgreSQL и S3

Что реализовано и что перенесено

  • сохранены возможности лабораторной 3: две API-реплики, Nginx, PostgreSQL, Valkey, идемпотентность, graceful shutdown, failover и мониторинг;
  • приватное S3-совместимое хранилище MinIO с идемпотентным bootstrap и отдельными credentials приложения;
  • синхронная загрузка и авторизованное скачивание PNG/JPEG с проверкой MIME, размера, числа пикселей и filename;
  • метаданные вложений и связи с сообщениями хранятся в PostgreSQL, исходные байты — только в S3;
  • lifecycle pending → ready → deleting, компенсация ошибок и защита конкурентной привязки вложения;
  • постраничный reconciler PostgreSQL/S3 с dry-run, grace period, retention и повторяемым apply;
  • отдельные лимиты памяти для входного body и декодирования изображения;
  • Prometheus/Grafana для API, Nginx, PostgreSQL, Valkey и MinIO;
  • CI с OpenAPI, lint, race/unit/integration, persistence и failover проверками;
  • публикация проверенных образов по digest и blue/green переключение API через Nginx.

Команды запуска из чистого clone

cp lab4.env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2 --wait --wait-timeout 180
make check
make test BASE_URL=http://localhost:8080
docker compose --profile tests run --rm --build tests

Эксперименты трека 2:

docker compose exec -T api /app/lab4experiment memory
docker compose exec -T api /app/lab4experiment consistency

Результаты проверок

  • CI полного решения: success, 6m36s;
  • публичный API-сценарий, интеграционные тесты PostgreSQL/Valkey, persistence и failover прошли;
  • 48 из 48 загрузок завершились успешно при четырёх волнах по 12 конкурентных запросов;
  • reconciler сохранил свежие и используемые данные, удалил безопасные старые расхождения и при повторном apply не выполнил новых удалений;
  • private bucket возвращает 403 для анонимного запроса, повторный bootstrap проходит без ошибки;
  • blue/green проверка: 20 из 20 health-запросов получили 200 только от нового API-пула;
  • методика, результаты и ограничения приведены в REPORT.md, агрегаты — в evidence/.

Ограничения / известные ошибки

Все компоненты размещены на одном Docker-хосте. PostgreSQL, Valkey, MinIO и Nginx остаются отдельными точками отказа уровня хоста. Reconciler не восстанавливает удалённый объект используемого вложения автоматически. Rollback API не откатывает уже применённые миграции, поэтому миграции должны оставаться обратно совместимыми с предыдущей версией.

Источники и использование ИИ

Использованы материалы задания и официальная документация Go, PostgreSQL, MinIO и Nginx; Codex применялся как помощник при реализации, результат проверен CI и воспроизводимыми экспериментами.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 **Автор / группа:** Пластинин Денис / БВТ2303 **Целевая оценка:** 5 **Трек 5:** трек 2 — согласованность PostgreSQL и S3 ### Что реализовано и что перенесено - сохранены возможности лабораторной 3: две API-реплики, Nginx, PostgreSQL, Valkey, идемпотентность, graceful shutdown, failover и мониторинг; - приватное S3-совместимое хранилище MinIO с идемпотентным bootstrap и отдельными credentials приложения; - синхронная загрузка и авторизованное скачивание PNG/JPEG с проверкой MIME, размера, числа пикселей и filename; - метаданные вложений и связи с сообщениями хранятся в PostgreSQL, исходные байты — только в S3; - lifecycle `pending → ready → deleting`, компенсация ошибок и защита конкурентной привязки вложения; - постраничный reconciler PostgreSQL/S3 с dry-run, grace period, retention и повторяемым apply; - отдельные лимиты памяти для входного body и декодирования изображения; - Prometheus/Grafana для API, Nginx, PostgreSQL, Valkey и MinIO; - CI с OpenAPI, lint, race/unit/integration, persistence и failover проверками; - публикация проверенных образов по digest и blue/green переключение API через Nginx. ### Команды запуска из чистого clone ```sh cp lab4.env.example .env docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --scale api=2 --wait --wait-timeout 180 make check make test BASE_URL=http://localhost:8080 docker compose --profile tests run --rm --build tests ``` Эксперименты трека 2: ```sh docker compose exec -T api /app/lab4experiment memory docker compose exec -T api /app/lab4experiment consistency ``` ### Результаты проверок - [CI полного решения](https://gitea.privcloud.tech/dizi/mtusi2026lab4/actions/runs/101): success, 6m36s; - публичный API-сценарий, интеграционные тесты PostgreSQL/Valkey, persistence и failover прошли; - 48 из 48 загрузок завершились успешно при четырёх волнах по 12 конкурентных запросов; - reconciler сохранил свежие и используемые данные, удалил безопасные старые расхождения и при повторном apply не выполнил новых удалений; - private bucket возвращает 403 для анонимного запроса, повторный bootstrap проходит без ошибки; - blue/green проверка: 20 из 20 health-запросов получили 200 только от нового API-пула; - методика, результаты и ограничения приведены в `REPORT.md`, агрегаты — в `evidence/`. ### Ограничения / известные ошибки Все компоненты размещены на одном Docker-хосте. PostgreSQL, Valkey, MinIO и Nginx остаются отдельными точками отказа уровня хоста. Reconciler не восстанавливает удалённый объект используемого вложения автоматически. Rollback API не откатывает уже применённые миграции, поэтому миграции должны оставаться обратно совместимыми с предыдущей версией. ### Источники и использование ИИ Использованы материалы задания и официальная документация Go, PostgreSQL, MinIO и Nginx; Codex применялся как помощник при реализации, результат проверен CI и воспроизводимыми экспериментами. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
dizi added 13 commits 2026-10-09 14:07:49 +03:00
Owner

Существенные замечания:

  1. [P1] Dry-run изменяет PostgreSQL после частично завершённого удаления.
    Воспроизведение: создать старое неиспользуемое вложение, временно вызвать ошибку PostgreSQL на DELETE метаданных и запустить apply. S3-объект удаляется, строка остаётся в состоянии deleting. После снятия ошибки выполнить без --apply:
    /app/messenger reconcile-attachments --grace-period=1h --page-size=1
    Ожидается только отчёт, без изменений хранилищ. Фактически вывод содержит "mode":"dry-run" и "deleted_unreferenced_rows":1; строка исчезает, число метаданных уменьшается 1061 → 1060. Это нарушает обязательную безопасность dry-run выбранного трека.
    Причина: ветка deleting вызывает удаление до проверки Apply — internal/reconcile/reconcile.go:229; непосредственный DELETE — internal/reconcile/reconcile.go:255. Нужна проверка режима и для продолжения удаления, с тестами состояний deleting при наличии и отсутствии объекта.
  2. [P2] POST сообщения принимает некорректные поля JSON.
    С действующей сессией, новым Idempotency-Key и доступным вложением A того же чата отправить в POST /api/v1/chats/{id}/messages каждый из запросов, заменив A действительным UUID:
    {"attachment_ids":["A"]}
    {"text":null,"attachment_ids":["A"]}
    {"text":"x","attachment_ids":null}
    Ожидается 400: text обязателен и должен быть строкой; переданный attachment_ids должен быть массивом. Все три запроса фактически возвращают 201 и создают сообщения. Это нарушение обязательного контракта нижнего уровня.
    Структура запроса теряет различие между отсутствием, null и нулевым значением — internal/messenger/httpapi/handlers.go:211. Проверка значений на handlers.go:218 этого не обнаруживает. Нужна явная проверка присутствия и типов полей.
Существенные замечания: 1. [P1] Dry-run изменяет PostgreSQL после частично завершённого удаления. Воспроизведение: создать старое неиспользуемое вложение, временно вызвать ошибку PostgreSQL на DELETE метаданных и запустить apply. S3-объект удаляется, строка остаётся в состоянии deleting. После снятия ошибки выполнить без --apply: /app/messenger reconcile-attachments --grace-period=1h --page-size=1 Ожидается только отчёт, без изменений хранилищ. Фактически вывод содержит "mode":"dry-run" и "deleted_unreferenced_rows":1; строка исчезает, число метаданных уменьшается 1061 → 1060. Это нарушает обязательную безопасность dry-run выбранного трека. Причина: ветка deleting вызывает удаление до проверки Apply — [internal/reconcile/reconcile.go:229](https://gitea.privcloud.tech/dizi/mtusi2026lab4/src/commit/13151e66aa7051853d3ee7c5ec5614b773a03674/internal/reconcile/reconcile.go#L229); непосредственный DELETE — [internal/reconcile/reconcile.go:255](https://gitea.privcloud.tech/dizi/mtusi2026lab4/src/commit/13151e66aa7051853d3ee7c5ec5614b773a03674/internal/reconcile/reconcile.go#L255). Нужна проверка режима и для продолжения удаления, с тестами состояний deleting при наличии и отсутствии объекта. 2. [P2] POST сообщения принимает некорректные поля JSON. С действующей сессией, новым Idempotency-Key и доступным вложением A того же чата отправить в POST /api/v1/chats/{id}/messages каждый из запросов, заменив A действительным UUID: {"attachment_ids":["A"]} {"text":null,"attachment_ids":["A"]} {"text":"x","attachment_ids":null} Ожидается 400: text обязателен и должен быть строкой; переданный attachment_ids должен быть массивом. Все три запроса фактически возвращают 201 и создают сообщения. Это нарушение обязательного контракта нижнего уровня. Структура запроса теряет различие между отсутствием, null и нулевым значением — [internal/messenger/httpapi/handlers.go:211](https://gitea.privcloud.tech/dizi/mtusi2026lab4/src/commit/13151e66aa7051853d3ee7c5ec5614b773a03674/internal/messenger/httpapi/handlers.go#L211). Проверка значений на [handlers.go:218](https://gitea.privcloud.tech/dizi/mtusi2026lab4/src/commit/13151e66aa7051853d3ee7c5ec5614b773a03674/internal/messenger/httpapi/handlers.go#L218) этого не обнаруживает. Нужна явная проверка присутствия и типов полей.
dizi added 3 commits 2026-10-30 14:10:19 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:13 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#1