From ef7b5bf1c39a5f1a911dbddb0ebbc510f9dc971e Mon Sep 17 00:00:00 2001 From: casablanca Date: Thu, 29 Oct 2026 12:49:19 +0300 Subject: [PATCH] =?UTF-8?q?=D1=84=D0=B8=D0=BA=D1=81=20=D1=80=D0=B5=D0=BF?= =?UTF-8?q?=D0=BE=D1=80=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 68 ++++++++++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 62 insertions(+), 6 deletions(-) diff --git a/REPORT.md b/REPORT.md index bf2de9ee..f3cf907b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -127,7 +127,9 @@ docker compose down -v ## Архитектура и решения -### Схема компонентов +### Оценка 3 — базовая функциональность + +#### Схема компонентов ```text Клиент @@ -154,11 +156,17 @@ Nginx распределяет запросы между двумя экземп PostgreSQL является источником истины для регистрации вложений и их принадлежности чатам. S3 хранит бинарные данные, адресуемые через `s3_key`. -### Что перенесено из лабораторной 3 +**Что мы сделали и зачем.** Сохранили две одинаковые реплики FastAPI за Nginx: запрос пользователя может попасть на любую из них, потому что данные не привязаны к памяти конкретного процесса. PostgreSQL хранит структурированную информацию, Redis — сессии авторизации, а MinIO — сами файлы изображений. Такое разделение позволяет не записывать большие бинарные файлы в таблицы сообщений и использовать единое хранилище вложений для обеих реплик. + +**Как проходит запрос с вложением.** Пользователь обращается к Nginx, тот направляет запрос на одну из API-реплик. API проверяет сессию и участие пользователя в чате, принимает и проверяет изображение, сохраняет его в MinIO и регистрирует метаданные в PostgreSQL. При последующем скачивании API снова проверяет права и получает содержимое из S3 по сохранённому ключу. Клиенту не выдаётся публичный адрес объекта в бакете. + +#### Что перенесено из лабораторной 3 Сохранены пользовательские операции, авторизация через сессии, чаты, сообщения, идемпотентность создания сообщений, две API-реплики, балансировщик Nginx, PostgreSQL и Redis. -### Что добавлено в лабораторной 4 +**Что это означает на практике.** Мы не создавали отдельное приложение только для изображений: расширили существующий мессенджер. Пользователи по-прежнему создают чаты и сообщения, авторизуются через сессии, а повторная отправка запроса с тем же ключом идемпотентности не должна создавать дублирующие сообщения. Существующие маршруты и публичные проверки предыдущей лабораторной сохранены. Это проверяется в том числе командой `make test`. + +#### Что добавлено в лабораторной 4 - Приватное S3-хранилище MinIO с постоянным томом. - Идемпотентная инициализация бакета и ограниченной учётной записи приложения. @@ -170,7 +178,15 @@ PostgreSQL является источником истины для регис - Отдельный reconciler для обнаружения и обработки расхождений между PostgreSQL и MinIO. - Тесты компенсации, безопасной сверки и исправления расхождений. -### Транзакционные границы +**Что относится непосредственно к базовой функциональности оценки 3.** В лабораторной №4 мы добавили возможность загрузить изображение PNG/JPEG размером до 10 МиБ и разрешением до 40 млн пикселей, получить ответ `201 Created`, а затем скачать тот же файл без изменения содержимого. Для контроля целостности сравнивался SHA-256. Запись PostgreSQL содержит метаданные вложения, включая ключ объекта S3; само изображение хранится в MinIO. Вложения можно указать при создании сообщения через `attachment_ids`, но использовать чужое вложение или получить файл из чужого чата нельзя. + +**Как мы это проверяли.** Проверяли успешную загрузку, получение метаданных и файла, совпадение SHA-256, привязку к сообщению, отказ в доступе постороннему пользователю (`404`) и отсутствие доступа без сессии (`401`). Проверяли работу двух реплик и сохранение данных после перезапуска контейнеров с постоянными Docker volumes. Результаты перечислены в таблице «Доказательства критериев» ниже. + +**Что добавлено сверх базового уровня.** Компенсация, обработка отказов, проверки предельных условий и reconciler тоже перечислены выше как части всей лабораторной, но подробнее относятся к оценкам 4 и 5 и раскрываются в следующих подразделах. + +### Оценка 4 — надёжность, безопасность и обработка ошибок + +#### Транзакционные границы PostgreSQL и MinIO не участвуют в общей распределённой транзакции. @@ -182,7 +198,21 @@ PostgreSQL и MinIO не участвуют в общей распределён Это уменьшает риск удаления зарегистрированного вложения, но не обеспечивает атомарность двух хранилищ. Оставшиеся после аварий объекты обнаруживаются reconciler. -### Reconciliation +#### Проверка входных данных и разграничение доступа + +**Что сделали.** Для загрузки предусмотрены проверки имени файла, заявленного MIME-типа и фактического содержимого изображения. Приложение принимает PNG/JPEG, отклоняет неподдерживаемые и повреждённые файлы, а также изображения, превышающие ограничения по размеру и числу пикселей. Доступ к вложению определяется членством в чате, а не одним лишь знанием идентификатора вложения. + +**Что проверили.** Файл больше 10 МиБ и изображение с более чем 40 млн пикселей приводили к `413`; GIF — к `415`; несовпадение MIME-типа и реального формата, а также повреждённый файл — к `400`. Для чужих вложений и недопустимых `attachment_ids` проверялись отказы, перечисленные в таблице доказательств. Приватность S3 проверялась анонимным запросом к бакету (`403 AccessDenied`). + +#### Отказы, компенсация и ограничение ресурсов + +**Зачем нужна компенсация.** Между успешной загрузкой объекта в MinIO и сохранением его метаданных в PostgreSQL возможен сбой. Если запись в БД точно отсутствует, приложение может удалить незарегистрированный объект; если подтвердить это нельзя, безопаснее сохранить объект и позднее обнаружить его reconciler. Для этих ситуаций подготовлены модульные тесты: `make test-compensation` — 5 успешных проверок. + +**Что ещё проверили.** Повторный запуск инициализации S3 не должен удалять существующие объекты; приложение использует отдельные ограниченные S3-учётные данные, а административная консоль MinIO не публикуется как общедоступный сервис. При остановке MinIO загрузка возвращала `503`, после восстановления — `201`. В испытании с десятью параллельными загрузками примерно по 4,13 МиБ все запросы завершились `201`; пиковое потребление API-реплик составило 154,71 и 138,84 МиБ при лимите 512 МиБ, без OOM. Также проверяли отказ одной API-реплики и сохранность данных после перезапуска. Подробные численные результаты приведены ниже в «Экспериментах и отказах». + +### Оценка 5 — трек 2. Согласованность двух хранилищ + +#### Reconciliation Утилита `scripts/reconcile.py` получает список ключей из таблицы `attachments` и перечень объектов S3. @@ -197,6 +227,32 @@ PostgreSQL и MinIO не участвуют в общей распределён Отсутствующие объекты S3 не восстанавливаются автоматически: reconciler сообщает о них, не удаляя метаданные PostgreSQL. +#### Как работает наш reconciler + +**Задача.** PostgreSQL и MinIO — независимые хранилища. После частичного сбоя их состояние может разойтись. Мы написали отдельную утилиту `scripts/reconcile.py`, которая сравнивает зарегистрированные ключи вложений с фактически существующими объектами бакета. + +**Два типа расхождений.** `orphan` — файл уже есть в S3, но соответствующей записи в PostgreSQL нет; такой объект мог остаться после сбоя сохранения метаданных. `missing` — запись в PostgreSQL существует, но файл в S3 отсутствует; например, он был удалён отдельно. В первом случае возможно безопасное удаление устаревшего незарегистрированного объекта, во втором автоматическое удаление записи БД не выполняется, поскольку это уничтожило бы сведения о проблеме. + +**Режимы работы.** `make reconcile` запускает сверку в режиме `dry-run`: выводит JSON с найденными расхождениями, но ничего не меняет. `make reconcile-repair` разрешает исправление устаревших orphan-объектов. По умолчанию действует защитный период 24 часа: свежие объекты не удаляются. Непосредственно перед удалением повторно проверяются наличие записи в PostgreSQL и состояние объекта в S3, в том числе время последнего изменения. + +#### Какие ошибки внедряли и что доказали + +- Создавали объект S3 без записи PostgreSQL: reconciler находил `orphan`. +- Создавали запись PostgreSQL без файла S3: reconciler находил `missing`, не удаляя запись автоматически. +- Проверяли удаление искусственно состаренного orphan-объекта при разрешённом repair. +- Проверяли, что свежие объекты внутри защитного периода сохраняются. +- Проверяли, что объект, зарегистрированный в БД до удаления, не удаляется. +- Проверяли, что изменившийся объект S3 сохраняется благодаря повторной проверке `LastModified`. +- Повторяли сверку после исправления: новых расхождений не оставалось. + +Эти сценарии отражены в `tests/test_reconcile.py` и ручных экспериментах; `make test-reconcile` завершился успешно — 8 тестов. + +#### Стоимость обхода и вывод + +Мы измерили время полной сверки на двух наборах данных, по 10 запусков на каждый: **28 объектов S3** — медиана **5,161 мс**; **128 объектов S3** — медиана **13,029 мс**. При увеличении числа объектов медианное время выросло примерно в **2,52 раза**. Это показывает увеличение стоимости обхода в измеренном диапазоне, но двух точек недостаточно, чтобы утверждать линейную асимптотику. + +**Итог трека 2.** Реализованы обнаружение расхождений двух хранилищ, безопасный режим просмотра, ограниченное автоматическое исправление, защита свежих и зарегистрированных вложений, повторяемость проверки и замеры времени. При этом утилита не восстанавливает потерянные файлы и не гарантирует полную атомарность PostgreSQL и S3 — эти ограничения отдельно указаны ниже. + ### Конфигурация Параметры S3 (`S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`), пути к секретам, `SESSION_TTL_SECONDS`, `MAX_UPLOAD_BYTES` и `MAX_IMAGE_PIXELS` передаются через `compose.yaml`. @@ -385,7 +441,7 @@ max_ms: 46.378 9. **Не реализованы распределённые блокировки и фоновое расписание reconciliation.** Утилита запускается оператором. Для производственного применения целесообразны планировщик, аудит удалений, метрики, оповещения и резервное копирование. -## Демонстрация преподавателю +## Демонстрация Все команды выполняются из корня репозитория. Перед демонстрацией должны быть подготовлены локальные секреты и запущены контейнеры.