Метаданные вложений хранятся в PostgreSQL, оригинальные файлы — в S3.
Реализована синхронная загрузка PNG/JPEG размером до 10 MiB и 40 млн пикселей.
MIME проверяется по фактическому содержимому.
Опасные имена файлов и повреждённые изображения отклоняются.
Загрузка обрабатывается через SpooledTemporaryFile без неограниченного потребления RAM.
Реализованы авторизованные endpoints metadata и content.
Добавлена поддержка attachment_ids в сообщениях.
Идемпотентность сообщений учитывает текст и упорядоченный список вложений.
Сохранены две API-реплики, HAProxy, PostgreSQL и Redis из предыдущих лабораторных.
Надёжность PostgreSQL/S3
После успешного S3 PUT и ошибки PostgreSQL выполняется компенсирующее удаление объекта.
Добавлен cleanup старых orphan-объектов с безопасным grace period.
Реализован reconciler PostgreSQL/MinIO с режимами --dry-run и --apply.
Reconciler обнаруживает:
orphan — объект существует без metadata;
missing — metadata существует без оригинала.
Обеспечение безопасности и идемпотентности:
Missing-вложения переводятся в failed/original_missing.
Повторный --apply не выполняет повторных изменений.
Перед удалением orphan повторно проверяется PostgreSQL.
Перед маркировкой missing повторно проверяется S3.
SQL UPDATE защищён условиями по object_key, status и updated_at.
Конкурентные изменения учитываются в race_protected.
Инфраструктура
MinIO, PostgreSQL, Redis и HAProxy закреплены явными версиями или digest.
Bucket создаётся автоматически и остаётся приватным.
API использует отдельного MinIO-пользователя с bucket-scoped policy.
Bootstrap повторяемый и обновляет актуальную policy.
S3 API и административная консоль не публикуются на host.
Данные PostgreSQL, Redis и MinIO сохраняются в Docker volumes.
Эксперименты
Проверен полный обход reconciler для 100, 1 000 и 10 000 пар metadata/object с тремя запусками на каждый размер.
Количество пар
Медианное время
100
80,712 мс
1 000
227,467 мс
10 000
1 733,545 мс
Результаты согласуются с ожидаемой сложностью O(N). Reconciler хранит полные снимки PostgreSQL и S3 в памяти, поэтому для production-масштаба потребуется потоковый или страничный обход.
При 30 загрузках с concurrency 10:
Успешно: 30/30.
Использованы обе API-реплики.
Пиковая RAM: около 69 MiB на реплику.
Лимит реплики: 256 MiB.
Проверки
Проверка
Результат
make check
PASS
OpenAPI validation
PASS
Полный контейнерный pytest
17 passed
Негативные тесты вложений
12 passed
Публичный smoke
PASS
Persistence после restart
PASS
Failover одной API-реплики
PASS
Download вложения через другую реплику
PASS, SHA-256 совпадает
Private bucket
HTTP 403 для анонимного запроса
Недоступность S3
Контролируемый HTTP 503
Повторный MinIO bootstrap
PASS
Reconciler dry-run/apply/repeat
PASS
Защита свежих, используемых и конкурентно восстановленных объектов
PASS, объекты не удаляются
Ограничения
PostgreSQL и S3 не имеют общей транзакции.
Между повторной проверкой и изменением остаётся узкое TOCTOU-окно.
Reconciler выполняет полный обход с памятью O(N).
Стенд не обеспечивает отказоустойчивость при потере Docker-host, PostgreSQL, Redis, HAProxy или MinIO volume.
Presigned upload, очередь, worker и thumbnail не реализованы, поскольку не требуются для выбранного трека 2.
## Что сделано
Реализована лабораторная работа №4 на оценку **5**, выбран **трек 2 — согласованность PostgreSQL и S3**.
### Основная реализация
- Добавлено приватное S3-совместимое хранилище MinIO.
- Метаданные вложений хранятся в PostgreSQL, оригинальные файлы — в S3.
- Реализована синхронная загрузка PNG/JPEG размером до 10 MiB и 40 млн пикселей.
- MIME проверяется по фактическому содержимому.
- Опасные имена файлов и повреждённые изображения отклоняются.
- Загрузка обрабатывается через `SpooledTemporaryFile` без неограниченного потребления RAM.
- Реализованы авторизованные endpoints `metadata` и `content`.
- Добавлена поддержка `attachment_ids` в сообщениях.
- Идемпотентность сообщений учитывает текст и упорядоченный список вложений.
- Сохранены две API-реплики, HAProxy, PostgreSQL и Redis из предыдущих лабораторных.
### Надёжность PostgreSQL/S3
- После успешного S3 PUT и ошибки PostgreSQL выполняется компенсирующее удаление объекта.
- Добавлен cleanup старых orphan-объектов с безопасным grace period.
- Реализован reconciler PostgreSQL/MinIO с режимами `--dry-run` и `--apply`.
**Reconciler обнаруживает:**
- **orphan** — объект существует без metadata;
- **missing** — metadata существует без оригинала.
**Обеспечение безопасности и идемпотентности:**
- Missing-вложения переводятся в `failed/original_missing`.
- Повторный `--apply` не выполняет повторных изменений.
- Перед удалением orphan повторно проверяется PostgreSQL.
- Перед маркировкой missing повторно проверяется S3.
- SQL UPDATE защищён условиями по `object_key`, `status` и `updated_at`.
- Конкурентные изменения учитываются в `race_protected`.
### Инфраструктура
- MinIO, PostgreSQL, Redis и HAProxy закреплены явными версиями или digest.
- Bucket создаётся автоматически и остаётся приватным.
- API использует отдельного MinIO-пользователя с bucket-scoped policy.
- Bootstrap повторяемый и обновляет актуальную policy.
- S3 API и административная консоль не публикуются на host.
- Данные PostgreSQL, Redis и MinIO сохраняются в Docker volumes.
## Эксперименты
Проверен полный обход reconciler для **100, 1 000 и 10 000 пар metadata/object** с тремя запусками на каждый размер.
| Количество пар | Медианное время |
|---------------:|----------------:|
| 100 | 80,712 мс |
| 1 000 | 227,467 мс |
| 10 000 | 1 733,545 мс |
Результаты согласуются с ожидаемой сложностью **O(N)**. Reconciler хранит полные снимки PostgreSQL и S3 в памяти, поэтому для production-масштаба потребуется потоковый или страничный обход.
При **30 загрузках с concurrency 10**:
- Успешно: **30/30**.
- Использованы обе API-реплики.
- Пиковая RAM: около **69 MiB** на реплику.
- Лимит реплики: **256 MiB**.
## Проверки
| Проверка | Результат |
|----------|-----------|
| `make check` | PASS |
| OpenAPI validation | PASS |
| Полный контейнерный pytest | 17 passed |
| Негативные тесты вложений | 12 passed |
| Публичный smoke | PASS |
| Persistence после restart | PASS |
| Failover одной API-реплики | PASS |
| Download вложения через другую реплику | PASS, SHA-256 совпадает |
| Private bucket | HTTP 403 для анонимного запроса |
| Недоступность S3 | Контролируемый HTTP 503 |
| Повторный MinIO bootstrap | PASS |
| Reconciler `dry-run/apply/repeat` | PASS |
| Защита свежих, используемых и конкурентно восстановленных объектов | PASS, объекты не удаляются |
## Ограничения
- PostgreSQL и S3 не имеют общей транзакции.
- Между повторной проверкой и изменением остаётся узкое TOCTOU-окно.
- Reconciler выполняет полный обход с памятью **O(N)**.
- Стенд не обеспечивает отказоустойчивость при потере Docker-host, PostgreSQL, Redis, HAProxy или MinIO volume.
- Presigned upload, очередь, worker и thumbnail не реализованы, поскольку не требуются для выбранного трека 2.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Что сделано
Реализована лабораторная работа №4 на оценку 5, выбран трек 2 — согласованность PostgreSQL и S3.
Основная реализация
SpooledTemporaryFileбез неограниченного потребления RAM.metadataиcontent.attachment_idsв сообщениях.Надёжность PostgreSQL/S3
--dry-runи--apply.Reconciler обнаруживает:
Обеспечение безопасности и идемпотентности:
failed/original_missing.--applyне выполняет повторных изменений.object_key,statusиupdated_at.race_protected.Инфраструктура
Эксперименты
Проверен полный обход reconciler для 100, 1 000 и 10 000 пар metadata/object с тремя запусками на каждый размер.
Результаты согласуются с ожидаемой сложностью O(N). Reconciler хранит полные снимки PostgreSQL и S3 в памяти, поэтому для production-масштаба потребуется потоковый или страничный обход.
При 30 загрузках с concurrency 10:
Проверки
make checkdry-run/apply/repeatОграничения
Принято. Закрываю МР.
Pull request closed