фикс репорт
This commit is contained in:
@@ -127,7 +127,9 @@ docker compose down -v
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
### Схема компонентов
|
||||
### Оценка 3 — базовая функциональность
|
||||
|
||||
#### Схема компонентов
|
||||
|
||||
```text
|
||||
Клиент
|
||||
@@ -154,11 +156,17 @@ Nginx распределяет запросы между двумя экземп
|
||||
|
||||
PostgreSQL является источником истины для регистрации вложений и их принадлежности чатам. S3 хранит бинарные данные, адресуемые через `s3_key`.
|
||||
|
||||
### Что перенесено из лабораторной 3
|
||||
**Что мы сделали и зачем.** Сохранили две одинаковые реплики FastAPI за Nginx: запрос пользователя может попасть на любую из них, потому что данные не привязаны к памяти конкретного процесса. PostgreSQL хранит структурированную информацию, Redis — сессии авторизации, а MinIO — сами файлы изображений. Такое разделение позволяет не записывать большие бинарные файлы в таблицы сообщений и использовать единое хранилище вложений для обеих реплик.
|
||||
|
||||
**Как проходит запрос с вложением.** Пользователь обращается к Nginx, тот направляет запрос на одну из API-реплик. API проверяет сессию и участие пользователя в чате, принимает и проверяет изображение, сохраняет его в MinIO и регистрирует метаданные в PostgreSQL. При последующем скачивании API снова проверяет права и получает содержимое из S3 по сохранённому ключу. Клиенту не выдаётся публичный адрес объекта в бакете.
|
||||
|
||||
#### Что перенесено из лабораторной 3
|
||||
|
||||
Сохранены пользовательские операции, авторизация через сессии, чаты, сообщения, идемпотентность создания сообщений, две API-реплики, балансировщик Nginx, PostgreSQL и Redis.
|
||||
|
||||
### Что добавлено в лабораторной 4
|
||||
**Что это означает на практике.** Мы не создавали отдельное приложение только для изображений: расширили существующий мессенджер. Пользователи по-прежнему создают чаты и сообщения, авторизуются через сессии, а повторная отправка запроса с тем же ключом идемпотентности не должна создавать дублирующие сообщения. Существующие маршруты и публичные проверки предыдущей лабораторной сохранены. Это проверяется в том числе командой `make test`.
|
||||
|
||||
#### Что добавлено в лабораторной 4
|
||||
|
||||
- Приватное S3-хранилище MinIO с постоянным томом.
|
||||
- Идемпотентная инициализация бакета и ограниченной учётной записи приложения.
|
||||
@@ -170,7 +178,15 @@ PostgreSQL является источником истины для регис
|
||||
- Отдельный reconciler для обнаружения и обработки расхождений между PostgreSQL и MinIO.
|
||||
- Тесты компенсации, безопасной сверки и исправления расхождений.
|
||||
|
||||
### Транзакционные границы
|
||||
**Что относится непосредственно к базовой функциональности оценки 3.** В лабораторной №4 мы добавили возможность загрузить изображение PNG/JPEG размером до 10 МиБ и разрешением до 40 млн пикселей, получить ответ `201 Created`, а затем скачать тот же файл без изменения содержимого. Для контроля целостности сравнивался SHA-256. Запись PostgreSQL содержит метаданные вложения, включая ключ объекта S3; само изображение хранится в MinIO. Вложения можно указать при создании сообщения через `attachment_ids`, но использовать чужое вложение или получить файл из чужого чата нельзя.
|
||||
|
||||
**Как мы это проверяли.** Проверяли успешную загрузку, получение метаданных и файла, совпадение SHA-256, привязку к сообщению, отказ в доступе постороннему пользователю (`404`) и отсутствие доступа без сессии (`401`). Проверяли работу двух реплик и сохранение данных после перезапуска контейнеров с постоянными Docker volumes. Результаты перечислены в таблице «Доказательства критериев» ниже.
|
||||
|
||||
**Что добавлено сверх базового уровня.** Компенсация, обработка отказов, проверки предельных условий и reconciler тоже перечислены выше как части всей лабораторной, но подробнее относятся к оценкам 4 и 5 и раскрываются в следующих подразделах.
|
||||
|
||||
### Оценка 4 — надёжность, безопасность и обработка ошибок
|
||||
|
||||
#### Транзакционные границы
|
||||
|
||||
PostgreSQL и MinIO не участвуют в общей распределённой транзакции.
|
||||
|
||||
@@ -182,7 +198,21 @@ PostgreSQL и MinIO не участвуют в общей распределён
|
||||
|
||||
Это уменьшает риск удаления зарегистрированного вложения, но не обеспечивает атомарность двух хранилищ. Оставшиеся после аварий объекты обнаруживаются reconciler.
|
||||
|
||||
### Reconciliation
|
||||
#### Проверка входных данных и разграничение доступа
|
||||
|
||||
**Что сделали.** Для загрузки предусмотрены проверки имени файла, заявленного MIME-типа и фактического содержимого изображения. Приложение принимает PNG/JPEG, отклоняет неподдерживаемые и повреждённые файлы, а также изображения, превышающие ограничения по размеру и числу пикселей. Доступ к вложению определяется членством в чате, а не одним лишь знанием идентификатора вложения.
|
||||
|
||||
**Что проверили.** Файл больше 10 МиБ и изображение с более чем 40 млн пикселей приводили к `413`; GIF — к `415`; несовпадение MIME-типа и реального формата, а также повреждённый файл — к `400`. Для чужих вложений и недопустимых `attachment_ids` проверялись отказы, перечисленные в таблице доказательств. Приватность S3 проверялась анонимным запросом к бакету (`403 AccessDenied`).
|
||||
|
||||
#### Отказы, компенсация и ограничение ресурсов
|
||||
|
||||
**Зачем нужна компенсация.** Между успешной загрузкой объекта в MinIO и сохранением его метаданных в PostgreSQL возможен сбой. Если запись в БД точно отсутствует, приложение может удалить незарегистрированный объект; если подтвердить это нельзя, безопаснее сохранить объект и позднее обнаружить его reconciler. Для этих ситуаций подготовлены модульные тесты: `make test-compensation` — 5 успешных проверок.
|
||||
|
||||
**Что ещё проверили.** Повторный запуск инициализации S3 не должен удалять существующие объекты; приложение использует отдельные ограниченные S3-учётные данные, а административная консоль MinIO не публикуется как общедоступный сервис. При остановке MinIO загрузка возвращала `503`, после восстановления — `201`. В испытании с десятью параллельными загрузками примерно по 4,13 МиБ все запросы завершились `201`; пиковое потребление API-реплик составило 154,71 и 138,84 МиБ при лимите 512 МиБ, без OOM. Также проверяли отказ одной API-реплики и сохранность данных после перезапуска. Подробные численные результаты приведены ниже в «Экспериментах и отказах».
|
||||
|
||||
### Оценка 5 — трек 2. Согласованность двух хранилищ
|
||||
|
||||
#### Reconciliation
|
||||
|
||||
Утилита `scripts/reconcile.py` получает список ключей из таблицы `attachments` и перечень объектов S3.
|
||||
|
||||
@@ -197,6 +227,32 @@ PostgreSQL и MinIO не участвуют в общей распределён
|
||||
|
||||
Отсутствующие объекты S3 не восстанавливаются автоматически: reconciler сообщает о них, не удаляя метаданные PostgreSQL.
|
||||
|
||||
#### Как работает наш reconciler
|
||||
|
||||
**Задача.** PostgreSQL и MinIO — независимые хранилища. После частичного сбоя их состояние может разойтись. Мы написали отдельную утилиту `scripts/reconcile.py`, которая сравнивает зарегистрированные ключи вложений с фактически существующими объектами бакета.
|
||||
|
||||
**Два типа расхождений.** `orphan` — файл уже есть в S3, но соответствующей записи в PostgreSQL нет; такой объект мог остаться после сбоя сохранения метаданных. `missing` — запись в PostgreSQL существует, но файл в S3 отсутствует; например, он был удалён отдельно. В первом случае возможно безопасное удаление устаревшего незарегистрированного объекта, во втором автоматическое удаление записи БД не выполняется, поскольку это уничтожило бы сведения о проблеме.
|
||||
|
||||
**Режимы работы.** `make reconcile` запускает сверку в режиме `dry-run`: выводит JSON с найденными расхождениями, но ничего не меняет. `make reconcile-repair` разрешает исправление устаревших orphan-объектов. По умолчанию действует защитный период 24 часа: свежие объекты не удаляются. Непосредственно перед удалением повторно проверяются наличие записи в PostgreSQL и состояние объекта в S3, в том числе время последнего изменения.
|
||||
|
||||
#### Какие ошибки внедряли и что доказали
|
||||
|
||||
- Создавали объект S3 без записи PostgreSQL: reconciler находил `orphan`.
|
||||
- Создавали запись PostgreSQL без файла S3: reconciler находил `missing`, не удаляя запись автоматически.
|
||||
- Проверяли удаление искусственно состаренного orphan-объекта при разрешённом repair.
|
||||
- Проверяли, что свежие объекты внутри защитного периода сохраняются.
|
||||
- Проверяли, что объект, зарегистрированный в БД до удаления, не удаляется.
|
||||
- Проверяли, что изменившийся объект S3 сохраняется благодаря повторной проверке `LastModified`.
|
||||
- Повторяли сверку после исправления: новых расхождений не оставалось.
|
||||
|
||||
Эти сценарии отражены в `tests/test_reconcile.py` и ручных экспериментах; `make test-reconcile` завершился успешно — 8 тестов.
|
||||
|
||||
#### Стоимость обхода и вывод
|
||||
|
||||
Мы измерили время полной сверки на двух наборах данных, по 10 запусков на каждый: **28 объектов S3** — медиана **5,161 мс**; **128 объектов S3** — медиана **13,029 мс**. При увеличении числа объектов медианное время выросло примерно в **2,52 раза**. Это показывает увеличение стоимости обхода в измеренном диапазоне, но двух точек недостаточно, чтобы утверждать линейную асимптотику.
|
||||
|
||||
**Итог трека 2.** Реализованы обнаружение расхождений двух хранилищ, безопасный режим просмотра, ограниченное автоматическое исправление, защита свежих и зарегистрированных вложений, повторяемость проверки и замеры времени. При этом утилита не восстанавливает потерянные файлы и не гарантирует полную атомарность PostgreSQL и S3 — эти ограничения отдельно указаны ниже.
|
||||
|
||||
### Конфигурация
|
||||
|
||||
Параметры S3 (`S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`), пути к секретам, `SESSION_TTL_SECONDS`, `MAX_UPLOAD_BYTES` и `MAX_IMAGE_PIXELS` передаются через `compose.yaml`.
|
||||
@@ -385,7 +441,7 @@ max_ms: 46.378
|
||||
|
||||
9. **Не реализованы распределённые блокировки и фоновое расписание reconciliation.** Утилита запускается оператором. Для производственного применения целесообразны планировщик, аудит удалений, метрики, оповещения и резервное копирование.
|
||||
|
||||
## Демонстрация преподавателю
|
||||
## Демонстрация
|
||||
|
||||
Все команды выполняются из корня репозитория. Перед демонстрацией должны быть подготовлены локальные секреты и запущены контейнеры.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user