8.7 KiB
Отчёт — лабораторная 4
- Автор, группа: Кирюпина Александра Радиевна, БПИ2304.
- Целевая оценка: 3. Трек 5 не выбран.
- Ветка:
solution/bpi2304-kiryupina; PR:ЛР 4 — БПИ2304 — Кирюпина — на 3(ссылка после публикации). - Источники: контракт курса, документация MinIO, Sharp. Библиотеки: pg 8.16.3, minio 8.0.5, sharp 0.34.3. ИИ использовался при подготовке кода, проверок и отчёта.
Запуск из чистого clone
Нужны Docker Desktop с Linux containers и Python 3.9+. Команды из папки проекта в PowerShell:
py -X utf8 scripts/setup.py
docker compose up -d --build --wait
py -X utf8 scripts/check_contract.py
py -X utf8 tests/smoke.py --base-url http://localhost:8084
Setup один раз создаёт локальные .env и secrets/, они не входят в Git. В .env задаются внешний APP_PORT=8084, TTL сессии 3600 с и ключа идемпотентности 86400 с. Внутренние адреса, bucket и пути secret-файлов заданы в Compose. Готовность: GET /health/ready → 200.
Версии: Node 22.20.0-alpine, PostgreSQL 17.6-alpine, HAProxy 3.0.12-alpine. MinIO собирается из исходников релиза RELEASE.2025-04-22T22-12-26Z через Go 1.24.3-alpine, runtime Alpine 3.22.1 (infra/Dockerfile.s3); готовый образ из реестра не нужен. Первый build требует доступа к GitHub и репозиториям зависимостей. Миграции и создание приватного bucket автоматические.
Повторная сборка/запуск — та же команда docker compose up -d --build --wait. Остановка с сохранением данных — docker compose down. Намеренное удаление учебных данных — docker compose down -v. Локальные secrets сохраняются между запусками. Linux: python3 вместо py -X utf8; эквиваленты проверок — make check, make test BASE_URL=http://localhost:8084.
Архитектура и решения
Клиент → HAProxy → два API → PostgreSQL + MinIO. Из lab3 перенесены сессии, членство в чатах, пагинация и общая идемпотентность сообщений. Текстовые сообщения продолжают работать; добавлен список attachment_ids (до 10 уникальных ID того же чата). Запись сообщения и результата повтора выполняется одной транзакцией PostgreSQL.
Метаданные вложений хранятся в PostgreSQL, оригиналы — в приватном bucket messenger-attachments. У API нет volume с файлами. Имя файла используется только для отображения; ключ S3 случайный и скрыт. Проверяются PNG/JPEG, MIME, имя, лимит 10 MiB и 40 млн пикселей до полной распаковки. Повреждённые изображения отклоняются. После декодирования сохраняются исходные байты, без преобразования.
Ответ 201 ready выдаётся после S3 PUT и записи метаданных. Если INSERT не удался, выполняется попытка удалить объект. Download идёт через API с проверкой членства, без redirect. Оба хранилища имеют persistent volumes. Readiness зависит от PostgreSQL и S3; liveness — только от процесса. Пагинация сортирует (created_at,id); при конкурентных вставках snapshot между страницами не гарантируется.
Доказательства критериев
Результаты запусков и состояния контейнеров записаны в evidence/. Команды persistence/failover ниже используют неизменённые публичные тесты. На Windows выполнены прямые Python-команды, эквивалентные make-целям.
| Критерий | Проверка | Наблюдение | Файл в evidence/ |
|---|---|---|---|
| Контракт и публичный API | check_contract.py, smoke.py | PASS; 17 файлов задания/контракта/тестов не изменены | check.txt, smoke.txt, contract-integrity.txt |
| Приватный S3, PNG/JPEG и ограничения | student-tests/check.js | Точные байты и SHA-256; anonymous S3 GET=403; неверные файлы отклонены | student-tests.txt |
| Остановка принявшей файл реплики → download другой | check.js --lifecycle | Точные байты, 4054 и 2199 мс с учётом hook | student-tests.txt, stop-api*.json |
| Полный restart с сохранением оригинала и метаданных | публичный persistence | PASS: данные и прежняя сессия сохранены | persistence.txt, restart-scope.json |
| Работа при отказе API, общая идемпотентность | публичный failover | PASS: 2 реплики; восстановление 5.156 с; 6 успешных записей, 1 неуспешная попытка во время переключения | failover.txt |
py -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
py -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
py -X utf8 scripts/control.py restore
node student-tests/check.js --lifecycle
Для последней команды нужен Node.js 22+. На Linux hooks — scripts/restart.sh и scripts/stop-one.sh с executable bit. Hook restart перезапускает LB, оба API, PostgreSQL и MinIO, не удаляет volumes; stop-one останавливает именно переданную API-реплику.
Эксперименты и отказы
Локальный стенд: Windows, Docker Desktop 29.9.2, 12 CPU, около 7.7 GiB RAM у Docker; отдельных лимитов контейнеров нет (evidence/environment.txt). Это функциональные проверки, измерение максимальной производительности не выполнялось.
Проверены fixture PNG 320×200 (111817 байт), JPEG 20×10, повреждённые файлы, подмена MIME, опасные имена, превышение bytes (включая chunked) и пикселей. 12 параллельных отправок с одним ключом создали одно сообщение. После остановки загрузившей реплики файл прочитан через другую; полный restart сохранил файл, сессию и повтор сообщения. При отключённом S3 получены live=200 и ready=503, после возврата S3 — прежний оригинал. Все дополнительные проверки прошли; вывод в student-tests.txt.
Ограничения и следующие шаги
Общей транзакции PostgreSQL/S3 нет: авария между операциями может оставить лишний объект, автоматической сверки пока нет. API использует общие административные S3 credentials; отдельные ограниченные права — следующий шаг. Оригинал буферизуется до 10 MiB, декодирование ограничено 40 млн пикселей, но общего лимита памяти для множества параллельных загрузок нет. LB, PostgreSQL, S3 и сам компьютер остаются единичными точками отказа. Миниатюры, фоновые задачи и треки 4/5 не реализованы.