Files
mtusi2026lab4/REPORT.md
T

14 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Самохвалов Андрей Ремович, БПИ-2302.
  • Целевая оценка: 5, трек 2 «Согласованность двух хранилищ». Перенос lab3, приватное S3, синхронный upload, доступ к вложениям и связь с сообщениями проверены; reconciler и эксперимент трека выполняются далее.
  • Ветка: solution/bpi2302-samohvalov; commit/PR указываются после публикации.
  • Источники: README.md, COURSE.md, contracts/README.md, contracts/openapi.json, публичные тесты, MinIO release, образ, документация MinIO для IAM. Python/FastAPI, PostgreSQL, MinIO Python SDK; проект подготовлен с помощью ИИ Codex с локальной проверкой ниже.

Запуск из чистого clone

Требуются Docker Compose и Python 3.9+. Стенд использует только синтетические данные и слушает 127.0.0.1 на APP_PORT (по умолчанию 8080). В репозитории нет паролей:

cp .env.example .env
python3 scripts/setup-local-secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
make check
make test

setup-local-secrets.py создаёт отсутствующие secret-файлы с правами 0600 и не перезаписывает существующие. Миграции выполняет одноразовый migrate под PostgreSQL advisory lock. s3-volume-init задаёт владельца нового volume, затем MinIO стартует без root; одноразовый s3-bootstrap идемпотентно создаёт закрытый bucket и две ограниченные учётные записи. Повторный docker compose --env-file .env run --rm s3-bootstrap безопасен. Для остановки — docker compose --env-file .env down без -v; для намеренного удаления только учебных данных после проверки — docker compose --env-file .env down -v.

Версии: Python 3.12.12, PostgreSQL 17.6, HAProxy 3.0.11, MinIO RELEASE.2025-10-15T17-29-55Z (образ закреплён digest), MinIO Client 2025.7.21-debian-12-r3 (digest). Проверенный локальный стенд — Colima/arm64 macOS, 2 CPU, 2 054 840 320 байт памяти. Локальная сеть не разрешала DNS files.pythonhosted.org, поэтому сборка для проверки использовала только локальный ignored compose.local.yaml с временным IP CDN; в чистом clone он не нужен при обычном доступе к PyPI.

Архитектура и решения

Клиент → HAProxy → две API-реплики. PostgreSQL хранит пользователей, сессии, чаты, сообщения, ключи идемпотентности и метаданные вложений. MinIO хранит только байты оригиналов в private bucket messenger-attachments; локальная файловая система API не хранит оригиналы. Миграция 004_attachments.sql связывает вложение с чатом; 005_attachment_owner.sql добавляет владельца и время обновления по OpenAPI. Состав сообщения хранится в message_attachments с FK по паре (id, chat_id), чтобы исключить межчатовые ссылки на уровне БД. Статусы таблицы допускают дальнейший переход к асинхронной lab5, но lab4 возвращает только ready после обеих устойчивых записей.

Сервис Образ/роль Health и volume Секреты и доступ
lb HAProxy 3.0.11, единственный host port проверка backend, без volume секретов нет
api ×2 Python 3.12.12, 0,5 CPU/256 MiB на реплику /health/ready, без volume только DB URL и ограниченные S3 credentials
postgres PostgreSQL 17.6 pg_isready, postgres_data только DB password
migrate одноразовый Python завершение 0 только DB URL
s3 MinIO security release, 0,5 CPU/384 MiB /minio/health/ready, s3_data только root credentials, наружный порт и консоль не опубликованы
s3-bootstrap одноразовый MinIO Client завершение 0 root и создаваемые ограниченные credentials
s3-volume-init одноразовая настройка владельца volume завершение 0 секретов нет

infra/minio-api-policy.json разрешает только операции над объектами одного bucket и чтение его location; создание bucket, изменение IAM и административные операции не разрешены. Отдельная maintenance policy добавляет list для будущей сверки. Bucket не имеет анонимного чтения. Приватность bucket не заменяет проверку членства в чате на API: upload проверяет его до чтения тела, metadata/content — до доступа к S3. Публичный ответ не содержит object key, endpoint и credentials.

Upload читает raw body в SpooledTemporaryFile с порогом RAM 1 MiB и останавливается после 10 MiB; проверяет формат и MIME через Pillow, до декодирования отклоняет свыше 40 млн пикселей, затем полностью проверяет PNG/JPEG. Имя файла применяется только для отображения, object key — случайный UUID в originals/. S3 PUT предшествует INSERT/COMMIT в PostgreSQL; 201 ready возвращается лишь после обоих успехов. При достоверной ошибке до COMMIT объект удаляется. Если подтверждение COMMIT потеряно, удалять небезопасно: объект остаётся кандидатом для сверки после grace period. Если и компенсационное DELETE отказало, key записывается во внутренний лог; U5 добавит повторяемый reconciler. Клиенту при ошибке зависимости приходит 503, а прозрачный retry POST не выполняется. Для S3 заданы connect/read timeouts 2/10 с без внутренних повторов; /health/ready проверяет БД и доступ к приватному S3 через разрешённый HEAD отсутствующего probe key.

POST сообщения принимает до 10 уникальных ID из этого чата, включая пустой текст с вложением. Проверка вложений, запись сообщения, связей и результата идемпотентности выполняются в одной транзакции; порядок ID сохраняется. Повтор ключа с тем же содержимым возвращает прежний Message. GET metadata и content сначала проверяют действующую сессию и членство в чате; неизвестный и чужой ID одинаково дают 404. Исходник отдаётся потоково через API, отсутствующий вариант — 404, недоступный S3-объект — 503.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Доказательство
Перенос lab3 Compose ×2, текстовая часть make test, make test-persistence, адресный failover обеих реплик Текстовый API совместим, прежний токен/сообщение после restart; восстановление записи после остановки каждой реплики 3,123 и 3,149 с локальные тесты U1; полный smoke остановился на ещё не реализованном upload
Приватный S3 и bootstrap docker compose run --rm s3-bootstrap дважды; docker compose exec -T api python - < student-tests/test_storage_bootstrap.py Два повтора завершились 0; S3 PUT/GET ограниченным API пользователем совпадают по байтам, анонимный GET — 403, создание чужого bucket — AccessDenied evidence/storage-bootstrap-2026-10-02.txt
Миграция и транзакции docker compose exec -T api python - < student-tests/test_database.py; ... test_auth.py Миграции 1–5 применены повторяемо, 2 DB и 3 auth теста PASS evidence/storage-bootstrap-2026-10-02.txt
Raw PNG/JPEG upload и ограничения BASE_URL=http://localhost:8084 python3 -m unittest discover -s student-tests -p 'test_attachment_upload.py' -v 4 набора PASS: PNG/JPEG 201 ready, корректные hash/size/type; 10 MiB+1 и >40 млн px — 413; повреждение/MIME spoof — 415; опасное имя — 400, чужой чат — 404 student-tests/test_attachment_upload.py, синтетический JPEG fixture
Отказ S3 docker compose stop s3; docker compose exec -T api python - < student-tests/test_s3_outage.py; docker compose start s3 При реально остановленном S3 readiness=503, upload=503, число metadata строк не изменилось; S3 восстановлен и healthy student-tests/test_s3_outage.py
Промежуток S3/БД и обрыв потока docker compose exec -T api python - < student-tests/test_upload_failure.py PUT failure не вызывает SQL; ошибка БД до INSERT вызывает компенсацию DELETE; оборванный поток не начинает PUT. Добавленный случай неоднозначного COMMIT требует отдельного контрольного прогона student-tests/test_upload_failure.py
Ограничение RAM BASE_URL=http://localhost:8084 python3 scripts/measure-upload-memory.py 10/10 одновременных upload одного PNG 9 441 653 байт, 10 разных ready ID и верный SHA-256, 6,145 с; sampled peak API-1/2 114,7/115,5 MiB при лимите 256 MiB evidence/upload-memory-2026-10-02.csv
Сообщения, ACL и скачивание python3 -m unittest discover -s student-tests -p test_attachment_access.py -v; make test BASE_URL=http://127.0.0.1:8084 3 собственных теста OK; публичный сценарий PASS; link/replay и bytes на обеих репликах, чужой объект 404 evidence/attachment-access-2026-10-02.txt
Сохранность S3 и отказ API make test-persistence ... ACTION_SCRIPT=scripts/restart.sh; make test-failover ... ACTION_SCRIPT=scripts/stop-one.sh; python3 student-tests/test_attachment_failover.py Токен, Message, metadata и bytes пережили restart API/DB/S3; публичный failover восстановил запись за 2,826 и 3,020 с; адресный тест остановил каждую загрузившую реплику и скачал те же bytes через другую evidence/attachment-access-2026-10-02.txt

Эксперименты и отказы

Граница PUT/COMMIT проверена fault-инъекциями; полный reconciler и проверка восстановления при неизвестном результате COMMIT выполняются в U5/U6. Замер RAM проводился на локальном Colima/arm64, 2 CPU и 2 GiB, API ×2 с 0,5 CPU/256 MiB на экземпляр, 10 потоков с барьером старта. CSV содержит baseline и два Docker stats снимка во время 6,145 с серии: peak означает максимум наблюдённых снимков, а не точный аппаратный high-water mark. Все 10 ответов 201 имели уникальные ID и совпадающий SHA-256. Создание body по os.urandom оставляет воспроизводимыми размер/разрешение/алгоритм, но не конкретные байты и hash между прогонами.

Ограничения и следующие шаги

Публичный make test проходит; он не доказывает все отказные сценарии. Проверки уровня 4 и трека 5 не заявляются завершёнными до повторяемой сверки. Один MinIO/PostgreSQL/LB и один Docker-host остаются одиночными точками отказа. Локальный HTTP допустим только для изолированного стенда с синтетическими данными; удалённой демонстрации нужен TLS.