ЛР 4 — БПИ2301 — Возжин — на 5 #70

Closed
vozzhin wants to merge 5 commits from vozzhin/mtusi2026lab4:solution/BPI2301-Vozzhin into main
First-time contributor

Что сделано

Реализована лабораторная работа №4 на оценку 5, выбран трек 2 — согласованность PostgreSQL и S3.

Основная реализация

  • Добавлено приватное S3-совместимое хранилище MinIO.
  • Метаданные вложений хранятся в PostgreSQL, оригинальные файлы — в S3.
  • Реализована синхронная загрузка PNG/JPEG размером до 10 MiB и 40 млн пикселей.
  • MIME проверяется по фактическому содержимому.
  • Опасные имена файлов и повреждённые изображения отклоняются.
  • Загрузка обрабатывается через SpooledTemporaryFile без неограниченного потребления RAM.
  • Реализованы авторизованные endpoints metadata и content.
  • Добавлена поддержка attachment_ids в сообщениях.
  • Идемпотентность сообщений учитывает текст и упорядоченный список вложений.
  • Сохранены две API-реплики, HAProxy, PostgreSQL и Redis из предыдущих лабораторных.

Надёжность PostgreSQL/S3

  • После успешного S3 PUT и ошибки PostgreSQL выполняется компенсирующее удаление объекта.
  • Добавлен cleanup старых orphan-объектов с безопасным grace period.
  • Реализован reconciler PostgreSQL/MinIO с режимами --dry-run и --apply.

Reconciler обнаруживает:

  • orphan — объект существует без metadata;
  • missing — metadata существует без оригинала.

Обеспечение безопасности и идемпотентности:

  • Missing-вложения переводятся в failed/original_missing.
  • Повторный --apply не выполняет повторных изменений.
  • Перед удалением orphan повторно проверяется PostgreSQL.
  • Перед маркировкой missing повторно проверяется S3.
  • SQL UPDATE защищён условиями по object_key, status и updated_at.
  • Конкурентные изменения учитываются в race_protected.

Инфраструктура

  • MinIO, PostgreSQL, Redis и HAProxy закреплены явными версиями или digest.
  • Bucket создаётся автоматически и остаётся приватным.
  • API использует отдельного MinIO-пользователя с bucket-scoped policy.
  • Bootstrap повторяемый и обновляет актуальную policy.
  • S3 API и административная консоль не публикуются на host.
  • Данные PostgreSQL, Redis и MinIO сохраняются в Docker volumes.

Эксперименты

Проверен полный обход reconciler для 100, 1 000 и 10 000 пар metadata/object с тремя запусками на каждый размер.

Количество пар Медианное время
100 80,712 мс
1 000 227,467 мс
10 000 1 733,545 мс

Результаты согласуются с ожидаемой сложностью O(N). Reconciler хранит полные снимки PostgreSQL и S3 в памяти, поэтому для production-масштаба потребуется потоковый или страничный обход.

При 30 загрузках с concurrency 10:

  • Успешно: 30/30.
  • Использованы обе API-реплики.
  • Пиковая RAM: около 69 MiB на реплику.
  • Лимит реплики: 256 MiB.

Проверки

Проверка Результат
make check PASS
OpenAPI validation PASS
Полный контейнерный pytest 17 passed
Негативные тесты вложений 12 passed
Публичный smoke PASS
Persistence после restart PASS
Failover одной API-реплики PASS
Download вложения через другую реплику PASS, SHA-256 совпадает
Private bucket HTTP 403 для анонимного запроса
Недоступность S3 Контролируемый HTTP 503
Повторный MinIO bootstrap PASS
Reconciler dry-run/apply/repeat PASS
Защита свежих, используемых и конкурентно восстановленных объектов PASS, объекты не удаляются

Ограничения

  • PostgreSQL и S3 не имеют общей транзакции.
  • Между повторной проверкой и изменением остаётся узкое TOCTOU-окно.
  • Reconciler выполняет полный обход с памятью O(N).
  • Стенд не обеспечивает отказоустойчивость при потере Docker-host, PostgreSQL, Redis, HAProxy или MinIO volume.
  • Presigned upload, очередь, worker и thumbnail не реализованы, поскольку не требуются для выбранного трека 2.
## Что сделано Реализована лабораторная работа №4 на оценку **5**, выбран **трек 2 — согласованность PostgreSQL и S3**. ### Основная реализация - Добавлено приватное S3-совместимое хранилище MinIO. - Метаданные вложений хранятся в PostgreSQL, оригинальные файлы — в S3. - Реализована синхронная загрузка PNG/JPEG размером до 10 MiB и 40 млн пикселей. - MIME проверяется по фактическому содержимому. - Опасные имена файлов и повреждённые изображения отклоняются. - Загрузка обрабатывается через `SpooledTemporaryFile` без неограниченного потребления RAM. - Реализованы авторизованные endpoints `metadata` и `content`. - Добавлена поддержка `attachment_ids` в сообщениях. - Идемпотентность сообщений учитывает текст и упорядоченный список вложений. - Сохранены две API-реплики, HAProxy, PostgreSQL и Redis из предыдущих лабораторных. ### Надёжность PostgreSQL/S3 - После успешного S3 PUT и ошибки PostgreSQL выполняется компенсирующее удаление объекта. - Добавлен cleanup старых orphan-объектов с безопасным grace period. - Реализован reconciler PostgreSQL/MinIO с режимами `--dry-run` и `--apply`. **Reconciler обнаруживает:** - **orphan** — объект существует без metadata; - **missing** — metadata существует без оригинала. **Обеспечение безопасности и идемпотентности:** - Missing-вложения переводятся в `failed/original_missing`. - Повторный `--apply` не выполняет повторных изменений. - Перед удалением orphan повторно проверяется PostgreSQL. - Перед маркировкой missing повторно проверяется S3. - SQL UPDATE защищён условиями по `object_key`, `status` и `updated_at`. - Конкурентные изменения учитываются в `race_protected`. ### Инфраструктура - MinIO, PostgreSQL, Redis и HAProxy закреплены явными версиями или digest. - Bucket создаётся автоматически и остаётся приватным. - API использует отдельного MinIO-пользователя с bucket-scoped policy. - Bootstrap повторяемый и обновляет актуальную policy. - S3 API и административная консоль не публикуются на host. - Данные PostgreSQL, Redis и MinIO сохраняются в Docker volumes. ## Эксперименты Проверен полный обход reconciler для **100, 1 000 и 10 000 пар metadata/object** с тремя запусками на каждый размер. | Количество пар | Медианное время | |---------------:|----------------:| | 100 | 80,712 мс | | 1 000 | 227,467 мс | | 10 000 | 1 733,545 мс | Результаты согласуются с ожидаемой сложностью **O(N)**. Reconciler хранит полные снимки PostgreSQL и S3 в памяти, поэтому для production-масштаба потребуется потоковый или страничный обход. При **30 загрузках с concurrency 10**: - Успешно: **30/30**. - Использованы обе API-реплики. - Пиковая RAM: около **69 MiB** на реплику. - Лимит реплики: **256 MiB**. ## Проверки | Проверка | Результат | |----------|-----------| | `make check` | PASS | | OpenAPI validation | PASS | | Полный контейнерный pytest | 17 passed | | Негативные тесты вложений | 12 passed | | Публичный smoke | PASS | | Persistence после restart | PASS | | Failover одной API-реплики | PASS | | Download вложения через другую реплику | PASS, SHA-256 совпадает | | Private bucket | HTTP 403 для анонимного запроса | | Недоступность S3 | Контролируемый HTTP 503 | | Повторный MinIO bootstrap | PASS | | Reconciler `dry-run/apply/repeat` | PASS | | Защита свежих, используемых и конкурентно восстановленных объектов | PASS, объекты не удаляются | ## Ограничения - PostgreSQL и S3 не имеют общей транзакции. - Между повторной проверкой и изменением остаётся узкое TOCTOU-окно. - Reconciler выполняет полный обход с памятью **O(N)**. - Стенд не обеспечивает отказоустойчивость при потере Docker-host, PostgreSQL, Redis, HAProxy или MinIO volume. - Presigned upload, очередь, worker и thumbnail не реализованы, поскольку не требуются для выбранного трека 2.
vozzhin added 4 commits 2026-11-06 11:44:11 +03:00
vozzhin added 1 commit 2026-11-06 11:45:23 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:37 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#70