ЛР 4 — БВТ2301 — Козырев — на 5 #10

Closed
kozyrev_matvey wants to merge 5 commits from kozyrev_matvey/mtusi2026lab4:solution/BVT2301-Kozyrev into main
First-time contributor

Реализация

Автор: Матвей Козырев, БВТ2301.
Целевая оценка: 5, трек 2 — согласованность PostgreSQL и S3.

Добавлены изображения в сообщения: метаданные хранятся в PostgreSQL, оригиналы — в приватном SeaweedFS S3. После загрузки через одну API-реплику файл доступен через другую; перезапуск с сохранением volumes сохраняет сессии, метаданные и оригиналы.

  • Из lab3 перенесены две API-реплики за HAProxy, общие PostgreSQL-сессии, ACL, пагинация и идемпотентность сообщений.
  • Реализованы синхронный upload PNG/JPEG с ответом 201 ready, авторизованный download и attachment_ids в сообщениях.
  • Проверяются содержимое и MIME, filename, размер до 10 MiB и разрешение до 40 млн пикселей. Ограничены параллелизм загрузок и время обработки.
  • Bucket создаётся идемпотентно; API и maintenance используют отдельные S3 credentials. Административные порты не опубликованы на host.

Трек 2

Reconciler обнаруживает orphan-объекты и метаданные с отсутствующим оригиналом. По умолчанию работает dry-run; apply удаляет только orphan старше grace period. Метаданные не удаляются. Общая блокировка PostgreSQL защищает PUT/COMMIT от параллельной очистки; --object-key ограничивает исправление выбранными ключами.

Проверены реальный отказ PostgreSQL INSERT после PUT, ошибка inventory, потеря S3-оригинала и его восстановление из известной копии, повторный apply, сохранность свежих объектов и вложения в сообщении, незавершённый COMMIT и обрыв upload. Отдельно проверена пагинация S3.

Стоимость обхода измерена по трём dry-run для каждого размера набора. При 155 S3 keys и 122 metadata-строках медиана составила 0,405214 с; при 251 keys и тех же 122 строках — 0,403061 с. Это локальные измерения inventory без запуска контейнера, подключения и ожидания блокировки; вывод о масштабируемости по ним не делается. Методика и ограничения, вывод эксперимента.

Запуск и проверки

Нужны Docker с Compose v2, Python 3.12+, uv и свободный порт 8080.

python3 scripts/init-secrets.py
docker compose up -d --build --wait
make test

# Зависимости для полного локального аудита
uv sync --frozen
uv pip install -r requirements-dev.txt
make audit

Аудит от 22 октября 2026 года завершил 20 шагов с exit code 0; в это число входят тесты, проверка конфигурации, восстановление реплик и снимок окружения. Проверены контракт, негативные сценарии, failover, persistence, S3 outage, reconciler и 10 одновременных загрузок по 5 MiB.

Команды и результаты: results.json. Подробные логи: evidence/audit/. Версии, лимиты и хэши проверенных исходников: environment.json.

Ограничения

  • Один Docker-host; отказоустойчивость БД, S3, LB и самого host не заявляется.
  • Отсутствующий оригинал требует известной копии для восстановления; автоматического backup/repair нет.
  • Полный inventory использует O(N) памяти и на время обхода задерживает PUT/COMMIT. Ожидание блокировки ограничено 5 с.
  • Замер RAM дискретный; произвольная нагрузка и максимальная пропускная способность не исследованы.
  • Аудит выполнен после пересборки на существующих учебных volumes. Отдельный прогон из чистого clone с пустыми volumes не выполнялся.

Источники и использование ИИ

Основа — собственный проект lab3 и контракт курса. Использованы FastAPI, asyncpg, boto3, Pillow и SeaweedFS; версии и источники перечислены в REPORT.md. Codex использован для реализации, тестов, документации и ревью.

  • Обязательные возможности lab3 сохранены; сценарии lab4 проверены.
  • Контракт, публичные tests и README задания не изменены относительно skeleton-коммита ec540a1.
  • make check, make validate и make test выполнены; приложен вывод.
  • Сценарии отказов и безопасности выбранного уровня воспроизведены.
  • Локальные .env, secrets/, файлы *.key и *.pem не отслеживаются Git.
  • REPORT.md содержит инструкцию запуска, методику, результаты и ограничения.
## Реализация Автор: Матвей Козырев, БВТ2301. Целевая оценка: **5**, трек **2 — согласованность PostgreSQL и S3**. Добавлены изображения в сообщения: метаданные хранятся в PostgreSQL, оригиналы — в приватном SeaweedFS S3. После загрузки через одну API-реплику файл доступен через другую; перезапуск с сохранением volumes сохраняет сессии, метаданные и оригиналы. - Из lab3 перенесены две API-реплики за HAProxy, общие PostgreSQL-сессии, ACL, пагинация и идемпотентность сообщений. - Реализованы синхронный upload PNG/JPEG с ответом `201 ready`, авторизованный download и `attachment_ids` в сообщениях. - Проверяются содержимое и MIME, filename, размер до 10 MiB и разрешение до 40 млн пикселей. Ограничены параллелизм загрузок и время обработки. - Bucket создаётся идемпотентно; API и maintenance используют отдельные S3 credentials. Административные порты не опубликованы на host. ## Трек 2 Reconciler обнаруживает orphan-объекты и метаданные с отсутствующим оригиналом. По умолчанию работает dry-run; apply удаляет только orphan старше grace period. Метаданные не удаляются. Общая блокировка PostgreSQL защищает PUT/COMMIT от параллельной очистки; `--object-key` ограничивает исправление выбранными ключами. Проверены реальный отказ PostgreSQL INSERT после PUT, ошибка inventory, потеря S3-оригинала и его восстановление из известной копии, повторный apply, сохранность свежих объектов и вложения в сообщении, незавершённый COMMIT и обрыв upload. Отдельно проверена пагинация S3. Стоимость обхода измерена по трём dry-run для каждого размера набора. При 155 S3 keys и 122 metadata-строках медиана составила 0,405214 с; при 251 keys и тех же 122 строках — 0,403061 с. Это локальные измерения inventory без запуска контейнера, подключения и ожидания блокировки; вывод о масштабируемости по ним не делается. [Методика и ограничения](../REPORT.md), [вывод эксперимента](../evidence/audit/reconcile-benchmark.txt). ## Запуск и проверки Нужны Docker с Compose v2, Python 3.12+, uv и свободный порт 8080. ```sh python3 scripts/init-secrets.py docker compose up -d --build --wait make test # Зависимости для полного локального аудита uv sync --frozen uv pip install -r requirements-dev.txt make audit ``` Аудит от 22 октября 2026 года завершил **20 шагов с exit code 0**; в это число входят тесты, проверка конфигурации, восстановление реплик и снимок окружения. Проверены контракт, негативные сценарии, failover, persistence, S3 outage, reconciler и 10 одновременных загрузок по 5 MiB. Команды и результаты: [results.json](../evidence/audit/results.json). Подробные логи: `evidence/audit/`. Версии, лимиты и хэши проверенных исходников: [environment.json](../evidence/environment.json). ## Ограничения - Один Docker-host; отказоустойчивость БД, S3, LB и самого host не заявляется. - Отсутствующий оригинал требует известной копии для восстановления; автоматического backup/repair нет. - Полный inventory использует O(N) памяти и на время обхода задерживает PUT/COMMIT. Ожидание блокировки ограничено 5 с. - Замер RAM дискретный; произвольная нагрузка и максимальная пропускная способность не исследованы. - Аудит выполнен после пересборки на существующих учебных volumes. Отдельный прогон из чистого clone с пустыми volumes не выполнялся. ## Источники и использование ИИ Основа — собственный проект lab3 и контракт курса. Использованы FastAPI, asyncpg, boto3, Pillow и SeaweedFS; версии и источники перечислены в [REPORT.md](../REPORT.md). Codex использован для реализации, тестов, документации и ревью. - [x] Обязательные возможности lab3 сохранены; сценарии lab4 проверены. - [x] Контракт, публичные tests и README задания не изменены относительно skeleton-коммита `ec540a1`. - [x] `make check`, `make validate` и `make test` выполнены; приложен вывод. - [x] Сценарии отказов и безопасности выбранного уровня воспроизведены. - [x] Локальные `.env`, `secrets/`, файлы `*.key` и `*.pem` не отслеживаются Git. - [x] REPORT.md содержит инструкцию запуска, методику, результаты и ограничения.
kozyrev_matvey added 5 commits 2026-10-22 16:42:47 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:10 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#10