Files
mtusi2026lab4-fork/.github/pull_request_template.md
T

11 KiB
Raw Blame History

Лабораторная 4

Заголовок PR: ЛР 4 — БВТ2303 — Ситосенко — на 5

  • Автор / группа: Ситосенко / БВТ2303
  • Целевая оценка: 5
  • Трек 5: трек 2 — согласованность PostgreSQL и S3.

Что реализовано и что перенесено

Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.

  • Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
  • Сообщения поддерживают до 10 уникальных attachment_ids своего чата. Обычный текстовый POST остаётся валидным; отсутствие attachment_ids равнозначно []. Параллельные повторы с одним ключом создают одно сообщение.
  • Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
  • На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, cap_drop=ALL и no-new-privileges.
  • Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
  • Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис cleanup выполняет сверку периодически.

Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в student-tests/.

Команды запуска из чистого clone

Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в go.mod; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:

python -X utf8 scripts/bootstrap.py
python -X utf8 scripts/manage.py start
python -X utf8 scripts/verify.py

Bootstrap создаёт локальные .env и secrets/, сохраняя уже существующие значения. start собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: http://127.0.0.1:8080.

# Состояние реальных контейнеров и хранилищ:
python -X utf8 scripts/manage.py status

# Dry-run сверки, без изменения данных:
docker compose exec -T api /messenger reconcile

# Остановка с сохранением данных:
docker compose down

Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: MANUAL.md.

Результаты проверок и отчёт

Окончательный прогон завершён: 24/24 проверки успешны, complete=true, protected_unchanged=true в verification.json.

  • Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, go vet и go test -race. Проверки make check и make test выполнены эквивалентными командами Python; реальный вывод сохранён в evidence/contract.txt и evidence/smoke.txt.
  • govulncheck приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
  • Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: 2,339 и 2,312 с.
  • Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
  • Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: 10/10 успешных загрузок в каждом профиле, 503 — 0. Суммы индивидуальных kernel memory peaks двух API: 155,77 и 291,10 MiB; это верхняя оценка общего пика, включая startup.
  • В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.

Гипотеза, методика, измерения и ограничения: REPORT.md. Сводка результатов: RESULTS.md. Raw summaries: upload-memory.json, research.json, failures.json.

  • Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный BASE_URL сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.

Ограничения / известные ошибки

  • Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
  • MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
  • Для данного WSL2-host включён GODEBUG=madvdontneed=0: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.

Источники и использование ИИ

Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
  • Проверки make check и make test выполнены эквивалентными командами Python; приложен реальный вывод.
  • Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
  • README задания сохранён, REPORT.md содержит инструкцию именно этого решения.