Files
mtusi2026lab4/REPORT.md
T

8.7 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Кирюпина Александра Радиевна, БПИ2304.
  • Целевая оценка: 3. Трек 5 не выбран.
  • Ветка: solution/bpi2304-kiryupina; PR: ЛР 4 — БПИ2304 — Кирюпина — на 3 (ссылка после публикации).
  • Источники: контракт курса, документация MinIO, Sharp. Библиотеки: pg 8.16.3, minio 8.0.5, sharp 0.34.3. ИИ использовался при подготовке кода, проверок и отчёта.

Запуск из чистого clone

Нужны Docker Desktop с Linux containers и Python 3.9+. Команды из папки проекта в PowerShell:

py -X utf8 scripts/setup.py
docker compose up -d --build --wait
py -X utf8 scripts/check_contract.py
py -X utf8 tests/smoke.py --base-url http://localhost:8084

Setup один раз создаёт локальные .env и secrets/, они не входят в Git. В .env задаются внешний APP_PORT=8084, TTL сессии 3600 с и ключа идемпотентности 86400 с. Внутренние адреса, bucket и пути secret-файлов заданы в Compose. Готовность: GET /health/ready → 200.

Версии: Node 22.20.0-alpine, PostgreSQL 17.6-alpine, HAProxy 3.0.12-alpine. MinIO собирается из исходников релиза RELEASE.2025-04-22T22-12-26Z через Go 1.24.3-alpine, runtime Alpine 3.22.1 (infra/Dockerfile.s3); готовый образ из реестра не нужен. Первый build требует доступа к GitHub и репозиториям зависимостей. Миграции и создание приватного bucket автоматические.

Повторная сборка/запуск — та же команда docker compose up -d --build --wait. Остановка с сохранением данных — docker compose down. Намеренное удаление учебных данных — docker compose down -v. Локальные secrets сохраняются между запусками. Linux: python3 вместо py -X utf8; эквиваленты проверок — make check, make test BASE_URL=http://localhost:8084.

Архитектура и решения

Клиент → HAProxy → два API → PostgreSQL + MinIO. Из lab3 перенесены сессии, членство в чатах, пагинация и общая идемпотентность сообщений. Текстовые сообщения продолжают работать; добавлен список attachment_ids (до 10 уникальных ID того же чата). Запись сообщения и результата повтора выполняется одной транзакцией PostgreSQL.

Метаданные вложений хранятся в PostgreSQL, оригиналы — в приватном bucket messenger-attachments. У API нет volume с файлами. Имя файла используется только для отображения; ключ S3 случайный и скрыт. Проверяются PNG/JPEG, MIME, имя, лимит 10 MiB и 40 млн пикселей до полной распаковки. Повреждённые изображения отклоняются. После декодирования сохраняются исходные байты, без преобразования.

Ответ 201 ready выдаётся после S3 PUT и записи метаданных. Если INSERT не удался, выполняется попытка удалить объект. Download идёт через API с проверкой членства, без redirect. Оба хранилища имеют persistent volumes. Readiness зависит от PostgreSQL и S3; liveness — только от процесса. Пагинация сортирует (created_at,id); при конкурентных вставках snapshot между страницами не гарантируется.

Доказательства критериев

Результаты запусков и состояния контейнеров записаны в evidence/. Команды persistence/failover ниже используют неизменённые публичные тесты. На Windows выполнены прямые Python-команды, эквивалентные make-целям.

Критерий Проверка Наблюдение Файл в evidence/
Контракт и публичный API check_contract.py, smoke.py PASS; 17 файлов задания/контракта/тестов не изменены check.txt, smoke.txt, contract-integrity.txt
Приватный S3, PNG/JPEG и ограничения student-tests/check.js Точные байты и SHA-256; anonymous S3 GET=403; неверные файлы отклонены student-tests.txt
Остановка принявшей файл реплики → download другой check.js --lifecycle Точные байты, 4054 и 2199 мс с учётом hook student-tests.txt, stop-api*.json
Полный restart с сохранением оригинала и метаданных публичный persistence PASS: данные и прежняя сессия сохранены persistence.txt, restart-scope.json
Работа при отказе API, общая идемпотентность публичный failover PASS: 2 реплики; восстановление 5.156 с; 6 успешных записей, 1 неуспешная попытка во время переключения failover.txt
py -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
py -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
py -X utf8 scripts/control.py restore
node student-tests/check.js --lifecycle

Для последней команды нужен Node.js 22+. На Linux hooks — scripts/restart.sh и scripts/stop-one.sh с executable bit. Hook restart перезапускает LB, оба API, PostgreSQL и MinIO, не удаляет volumes; stop-one останавливает именно переданную API-реплику.

Эксперименты и отказы

Локальный стенд: Windows, Docker Desktop 29.9.2, 12 CPU, около 7.7 GiB RAM у Docker; отдельных лимитов контейнеров нет (evidence/environment.txt). Это функциональные проверки, измерение максимальной производительности не выполнялось.

Проверены fixture PNG 320×200 (111817 байт), JPEG 20×10, повреждённые файлы, подмена MIME, опасные имена, превышение bytes (включая chunked) и пикселей. 12 параллельных отправок с одним ключом создали одно сообщение. После остановки загрузившей реплики файл прочитан через другую; полный restart сохранил файл, сессию и повтор сообщения. При отключённом S3 получены live=200 и ready=503, после возврата S3 — прежний оригинал. Все дополнительные проверки прошли; вывод в student-tests.txt.

Ограничения и следующие шаги

Общей транзакции PostgreSQL/S3 нет: авария между операциями может оставить лишний объект, автоматической сверки пока нет. API использует общие административные S3 credentials; отдельные ограниченные права — следующий шаг. Оригинал буферизуется до 10 MiB, декодирование ограничено 40 млн пикселей, но общего лимита памяти для множества параллельных загрузок нет. LB, PostgreSQL, S3 и сам компьютер остаются единичными точками отказа. Миниатюры, фоновые задачи и треки 4/5 не реализованы.