Files
mtusi2026lab4-fork/REPORT.md

11 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа — Любченко Никита, БПИ2303.
  • Целевая оценка — 4. Трек оценки 5 не выбран.
  • Commit/PR добавляет автор после публикации.
  • Использованы контракт лабораторной, реализация lab3, Python 3.12, psycopg2, Redis, bcrypt, boto3, Pillow и MinIO. ИИ использовался при реализации, подготовке проверок и отчёта.

Запуск из чистого clone

Нужны Docker Engine с Compose, Make и Python 3.9+ для публичных тестов. При первой сборке нужен доступ к реестрам образов, PyPI, GitHub и прокси модулей Go. Базовый Go-образ берётся из публичного реестра AWS ECR. Для модулей указан резервный прокси на случай ошибки основного.

cp -n .env.example .env
python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build
python3 scripts/manage.py restore
make check
make test

Адрес по умолчанию — http://localhost:18081. Его можно изменить через PUBLIC_PORT в .env. Bootstrap сохраняет существующие значения секретов. Compose запускает миграции и инициализацию бакета до API. Версии исходников MinIO и mc указаны в infra/Dockerfile.s3. Для остановки с сохранением данных применяется docker compose down. Команда docker compose down -v предназначена для намеренного удаления учебных данных PostgreSQL, Redis и S3.

Для OpenAPI-валидации установите requirements-dev.txt в отдельный venv и передайте его Python в make validate PYTHON=.... Скрипты негативных и нагрузочных проверок также используют Pillow. Для проверки перезапуска и переключения доступны следующие команды.

make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 scripts/manage.py restore
python3 student-tests/attachment_resilience.py --base-url http://localhost:18081

Архитектура и согласованность

Nginx направляет запросы на две API-реплики. PostgreSQL хранит пользователей, чаты, сессии, сообщения, метаданные файлов и результаты идемпотентности. Redis кэширует сессии. Приватный MinIO хранит оригиналы в s3_data. Любая реплика может выдать оригинал после проверки членства в чате. Настройки адреса, региона и бакета передаются через S3_ENDPOINT, S3_REGION и S3_BUCKET. Учётные данные берутся из файлов Compose secrets.

Загрузка принимает сырые PNG/JPEG. API читает блоками по 64 KiB, считает SHA-256 и проверяет изображение из временного файла. Предел API — 10 MiB и 40 млн пикселей. Для upload Nginx буферизует запрос с верхним пределом 11 MiB, чтобы пограничное превышение лимита приложения вернуло JSON 413. Каждая API допускает до десяти одновременных загрузок и одно декодирование за раз. Чтение тела ограничено 30 секундами, у S3 connect timeout 2 секунды и read timeout 5 секунд. Скачивание передаётся потоком.

API резервирует запись pending, блокирует её на время PUT и фиксирует ready перед ответом 201. Если PUT прошёл, а транзакция оборвалась, запись остаётся pending. Cleaner раз в минуту удаляет до 25 просроченных записей после 15-минутного grace period. Он пропускает строки, заблокированные активным PUT. Повторное удаление объекта безопасно, а сбой S3 оставляет запись для повторной попытки.

Вложения привязаны к чату до отправки сообщения. PostgreSQL проверяет совпадение чата, уникальность ссылок и число позиций. Порядок ссылок сохраняется в истории. Сообщение, ссылки и запись результата идемпотентности создаются одной транзакцией. Пустой и отсутствующий attachment_ids используют прежний хеш lab3. При изменении вложений или их порядка под тем же ключом API возвращает 409.

Бакет создаётся повторяемым bootstrap. MinIO и bootstrap получают административные секреты. API и cleaner получают отдельную учётную запись с правами чтения, записи и удаления под префиксом attachments/ и чтения региона бакета. S3 слушает внутреннюю сеть Compose, веб-консоль отключена.

Доказательства критериев

Критерий Проверка Результат Файл в evidence/
Текстовые сообщения, общая сессия, идемпотентность lab3 Текстовый прогон через Nginx Обе API ответили; повтор с пустым списком совпал text-baseline.txt
201 ready, оригинал и права участника make test Публичный smoke прошёл с реальным S3 smoke.txt
Порядок вложений, повтор, запрет чужого чата student-tests/message_attachments.py История и повтор совпали; некорректные ссылки отклонены message-attachments-http.txt
Лимиты, повреждённый файл, MIME и ACL student-tests/attachment_errors.py Ожидаемые 400, 404, 413, 415; при отказе S3 — 503 attachment-errors-live.txt
Отказ загрузившей реплики и перезапуск с volumes student-tests/attachment_resilience.py Оригинал совпал побайтно; подтверждены разные X-Instance-Id attachment-resilience.txt
Прерывание загрузки и сбой после PUT student-tests/attachments_http.py, attachment_cleanup.py и s3_cleanup_live.py Прерванный запрос не создаёт запись; реальный объект после сбоя удалён; активный PUT защищён блокировкой attachments-http.txt, attachment-cleanup.txt, cleanup-live.txt
10 одновременных загрузок student-tests/upload_load.py 10/10, все SHA-256 совпали; память ниже лимита upload-load.json
Повторный bootstrap и приватный бакет docker compose run --rm s3-bootstrap и s3-bootstrap verify Запись и чтение под API credentials; анонимный GET — 403 s3-bootstrap-repeat.txt, s3-private.txt
Публичная проверка persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS persistence.txt
Публичный persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh Сессия, сообщения и оригинал сохранились persistence.txt
Публичный failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh Две реплики до отказа, 131 успешная запись, 0 ошибок, восстановление 0,875 с failover.txt

Эксперименты и ограничения

Окружение прогона — Docker Engine 29.5.3, Compose 5.1.4, aarch64, 10 CPU и 7,75 GiB RAM для Docker VM. Каждая API ограничена 0,5 CPU и 256 MiB RAM. Перед нагрузкой стенд уже обслуживал smoke и проверки вложений.

Нагрузка стартовала общим барьером. Десять клиентов загрузили по 8,674,572 байт PNG (1700 × 1700). Всего 10 запросов за 1.35 с, 7.41 успешных загрузок/с, ошибок 0. p50/p95/p99 — 1.258/1.349/1.349 с. Выборка cgroup снималась каждые 50 мс.

Реплика Базовая память, MiB Выборочный пик, MiB CPU, с
api-a 75.3 147.1 0.565
api-b 90.7 144.2 0.564

После остановки загрузившей реплики другая вернула тот же SHA-256 за 5,66 с от начала сценария. После перезапуска стенда оригинал получен за 6,93 с. При остановке S3 операции с вложениями возвращали 503, текстовая отправка продолжала работать. После запуска MinIO оригинал снова скачался побайтно.

Стенд рассчитан на отказ одной API-реплики и перезапуск с сохранением volumes. Общие PostgreSQL, Redis, Nginx, MinIO и Docker-хост остаются отдельными компонентами одного стенда. Нагрузочный эксперимент проверяет десять одновременных запросов с заданным размером PNG. Выборочный максимум cgroup включает файловый кэш и процесс измерения, поэтому это метрика памяти контейнера, а не только RSS Python.