18 KiB
Отчёт — лабораторная 4
- Автор: Владислав Гавриленко, БПИ2303.
- Целевая оценка: 3, исследовательские треки 4/5 не заявлены.
- Ветка:
solution/bpi2303-gavrilenko, форк: https://gitea.privcloud.tech/sxdees/mtusi2026lab4. - MR: ЛР 4 — БПИ2303 — Гавриленко — на 3, #124.
- Основа: собственная лабораторная 3, commit
51dae8c44a93c4cd5488be89ac84146d7e9cb61c. - Источники: контракт и публичные проверки этой лабораторной; SeaweedFS S3, Pillow Image, boto3 S3. Код и отчёт подготовлены с помощью Codex.
Запуск из чистого clone
Нужны Docker Engine с Compose v2, Python 3.9+ для публичных проверок, свободный порт 8084 и несколько GiB свободного места в Linux-диске Docker. Проверено на macOS arm64 / OrbStack, Docker Engine 29.8.2. Образы: Python 3.13.7 slim-bookworm, PostgreSQL 17.6-bookworm, HAProxy 3.2.6-alpine, SeaweedFS 4.48; runtime: psycopg 3.2.10, boto3 1.44.2, Pillow 13.0.0.
git clone -b solution/bpi2303-gavrilenko https://gitea.privcloud.tech/sxdees/mtusi2026lab4.git
cd mtusi2026lab4
scripts/setup.sh
docker compose config --quiet
docker compose up -d --build --wait
curl --fail http://localhost:8084/health/ready
make check test BASE_URL=http://localhost:8084
python3 student-tests/check.py --base-url http://localhost:8084
python3 student-tests/idempotency.py --base-url http://localhost:8084
python3 -m venv .venv
.venv/bin/pip install Pillow==13.0.0 -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
.venv/bin/python student-tests/attachments.py --base-url http://localhost:8084
docker compose exec -T api python - < student-tests/storage.py
docker compose exec -T api python - < student-tests/db_check.py
make test-persistence BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/restart.sh
make test-failover BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
python3 student-tests/attachment_failover.py --base-url http://localhost:8084
python3 student-tests/s3_outage.py --base-url http://localhost:8084
setup.sh создаёт случайные DB/S3 credentials в игнорируемом каталоге secrets/ с правами 0700, локальный .env; существующие файлы сохраняются. Файлы, читаемые непривилегированным API UID 10001 через Docker secrets, имеют права 0644 внутри защищённого каталога. Не копировать .env/secrets/ в Git. Для другого порта изменить HOST_PORT и BASE_URL.
Миграции выполняет одноразовый сервис migrate: PostgreSQL advisory lock, журнал schema_migrations, все изменения атомарны. Одноразовый bucket ждёт готовности S3, создаёт bucket при отсутствии и убирает bucket policy с публичными разрешениями; повторный запуск безопасен. NoSuchBucketPolicy означает уже приватное состояние. Compose запускает две API-реплики после завершения обоих заданий.
Безопасная остановка с сохранением данных: docker compose down. Повторный запуск: docker compose up -d --wait. Намеренное удаление всех учебных данных этого проекта: docker compose down -v, затем rm -rf data/s3 (для persistence не использовать). Другие Compose-проекты эти команды не затрагивают.
Архитектура и решения
клиент → 127.0.0.1:8084 HAProxy → API × 2 → PostgreSQL + SeaweedFS S3.
Из lab3 перенесены исходники сервера/БД, первые две миграции, Dockerfile, HAProxy DNS service discovery, настройки двух реплик, скрипты и собственные проверки. README, COURSE, contracts, lab.json и публичные tests сохранены из lab4. PostgreSQL хранит пользователей, scrypt-хеши паролей, SHA-256 bearer-токенов с expiry, чаты/членство, сообщения, результаты идемпотентных POST и метаданные вложений. Бинарные оригиналы находятся только в приватном S3 bucket messenger-attachments.
Новая миграция 003_attachments.sql создаёт Attachment и разрешает сообщение с пустым текстом при непустом attachment_ids. Вложение принадлежит чату и загрузившему участнику; серверный ключ original/<случайный UUID> не зависит от filename и не попадает в публичный JSON. Сообщение содержит до 10 уникальных UUID; API проверяет существование и принадлежность каждого тому же чату. Идемпотентность сохраняется: ключ блокируется транзакционно в PostgreSQL, отсутствующий список и [] эквивалентны, изменение текста или списка возвращает 409.
До чтения тела проверяются аутентификация, членство, filename, Content-Length ≤10 MiB и заявленный MIME. Тело читается с известным ограничением; chunked upload не поддерживается и возвращает 400. Pillow определяет реальный PNG/JPEG, сверяет MIME, проверяет число пикселей до декодирования, затем verify/load выявляют повреждение. Лимит 40 млн пикселей; превышение — 413, чужой/повреждённый формат — 415, опасное имя — 400. Filename с /, \, NUL, C0/C1/DEL, пустой или длиннее 255 символов отклоняется. Изображение не перекодируется: S3 получает исходные bytes, API возвращает тот же оригинал с правильным MIME, без redirect.
Сначала синхронный S3 PUT, затем INSERT метаданных и COMMIT PostgreSQL, только после этого 201 ready, variants=[], error_code=null. При известном отказе до COMMIT выполняется попытка удалить записанный объект. При неясном исходе COMMIT объект не удаляется: это защищает потенциально подтверждённые метаданные. S3 и PostgreSQL не составляют распределённую транзакцию; аварийное завершение/отказ компенсации может оставить orphan. Автоматической сверки нет (это уровень 4/5).
postgres_data хранит БД, ./data/s3 (persistent bind mount) — master/volume/filer. Filer использует LevelDB2 явно в /data/filerldb2, а не ephemeral /tmp. На API нет тома или локального каталога оригиналов. SeaweedFS master, volume, filer и S3 запущены одним сервисом s3. Все его порты и порты БД/API доступны только в Compose-сети; наружу опубликован лишь localhost LB. S3 требует подпись из сгенерированного JSON с identities; анонимного пользователя нет. На уровне 3 API и bootstrap используют одну административную S3 identity.
/health/live не зависит от хранилищ. /health/ready требует PostgreSQL SELECT и S3 HeadBucket, поскольку S3 входит в обязательный синхронный путь; HAProxy проверяет readiness, исключая неготовые реплики. Проверка соединения не гарантирует свободное место для будущей записи. S3 имеет таймаут подключения 2s, чтения 3s и одну попытку, без скрытого retry upload.
.env.example соответствует реально читаемым переменным: HOST_PORT, SESSION_TTL_SECONDS, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS. DATABASE_URL_FILE, S3 endpoint/region/bucket и пути credentials задаёт Compose. APP_HOST/APP_PORT заданы там же. Ограничения 10485760 bytes / 40000000 pixels фиксированы контрактом в коде; Redis/Valkey для оценки 3 не используется, сессии устойчиво хранятся в PostgreSQL.
Доказательства критериев
Проверено 13.11.2026 (Europe/Moscow). Тесты используют синтетические данные, bearer tokens не сохраняются.
| Критерий | Команда / сценарий | Наблюдаемый результат | Доказательство |
|---|---|---|---|
| Контракт и публичный smoke lab4 | make check validate, make test BASE_URL=http://localhost:8084 |
PASS; исходные public tests/contracts не изменены | evidence/checks.txt, evidence/final.txt |
| Возможности lab3: идентификация, ACL, Unicode, пагинация, идемпотентность | student-tests/check.py, student-tests/idempotency.py |
PASS; 32 конкурентных повтора через ≥2 процесса создали ровно одно сообщение | evidence/checks.txt |
| Истечение сессии из lab2 | Одноразовая API с SESSION_TTL_SECONDS=2, student-tests/expiry.py |
Сразу GET 200; через 3s GET и logout 401 | evidence/expiry.txt |
| Реальные PNG/JPEG, limits, filename, MIME, сообщения с вложениями | .venv/bin/python student-tests/attachments.py --base-url http://localhost:8084 |
Побайтное совпадение PNG/JPEG, 10 MiB / 40M pixels приняты, превышения 413, повреждение/MIME 415, чужой чат 404, retry/conflict корректны | evidence/checks.txt |
| Разделение БД/S3, приватный bucket | docker compose exec -T api python - < student-tests/storage.py |
Все строки Attachment имеют S3-оригинал с правильным размером/SHA256; anonymous GET реальных ключей →403 | evidence/checks.txt, evidence/final.txt |
| Устойчивые volumes, прежние сессии и оригинал | make test-persistence BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/restart.sh |
PASS; рестарт LB, API×2, PostgreSQL и S3 без удаления данных | evidence/persistence.txt, evidence/containers-before.json, evidence/containers-after.json |
| Отказ API во время записи | make test-failover BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/stop-one.sh |
Две реплики до отказа; 95 успешных записей, 3 переходные ошибки, восстановление 2,44s; потерь/дублей нет | evidence/failover.txt |
| Upload → остановка именно загрузившей реплики → download другой | python3 student-tests/attachment_failover.py --base-url http://localhost:8084 |
PASS отдельно для обеих реальных реплик; остановленный контейнер оставался выключен во время побайтного сравнения | evidence/attachment-failover.txt |
| Недоступность настоящего S3 | python3 student-tests/s3_outage.py --base-url http://localhost:8084 |
Live 200; ready/upload/content 503; число Attachment не выросло; после восстановления исходные bytes доступны | evidence/s3-outage.txt |
| Миграции и отсутствие потери данных при rollback | docker compose exec -T api python - < student-tests/db_check.py |
Повторные миграции сохраняют counts, включая attachments; KDF/token digests и FK/rollback проверены | evidence/final.txt |
Для проверки S3 outage запросы идут изнутри API-контейнера на localhost:8080: LB специально исключает обе неготовые реплики. Порты реплик на host не публикуются. Снимки до/после содержат container ID, StartedAt и типы mounts, без env/credentials. После всех отказов обе API-реплики восстановлены, финальный smoke и проверка всех оригиналов повторены.
Проверку короткого TTL можно повторить отдельным контейнером, не меняя основной стенд:
docker compose run -d --rm --no-deps --name gavrilenko-lab4-expiry -v "$PWD:/work:ro" -e SESSION_TTL_SECONDS=2 api
until [ "$(docker inspect --format '{{.State.Health.Status}}' gavrilenko-lab4-expiry)" = healthy ]; do sleep 1; done
docker exec gavrilenko-lab4-expiry python /work/student-tests/expiry.py --base-url http://localhost:8080
docker stop gavrilenko-lab4-expiry
В .github/workflows/application.yml добавлен отдельный job: сборка Compose, готовность, smoke, собственные проверки, persistence/failover и остановка. На Gitea Actions отключены; hosted job не запускался, соответствующие команды выполнены локально.
Эксперименты и отказы
Цель — подтвердить корректность уровня 3, а не максимальную пропускную способность. Нагрузочные исследования, RPS/p95 и ≥10 параллельных upload не заявлены. В student-tests/idempotency.py проверяются 32 конкурентных повтора сообщения через две реальные реплики.
Во время подготовки образ MinIO оказался недоступен в Docker Hub и quay.io; выбран разрешённый SeaweedFS. Первые запуски выявили заполненный диск Docker: сборка завершалась no space left on device, затем S3 отказывался писать при свободном месте менее 1%. Освобождён пересоздаваемый build-cache и неиспользуемый скачиваемый образ sitespeedio; чужие volumes/контейнеры не удалялись. OrbStack затем снова показывал ~245 MiB свободного места внутри динамического Linux-диска при 29 GiB на macOS. Для S3 выбран persistent bind mount ./data/s3, который видит свободное место macOS; уже созданные данные скопированы при остановленном S3. Минимальную защиту SeaweedFS по свободному месту не отключали. Итоговые результаты ниже относятся к повторным запускам после устранения причины.
Ограничения и следующие шаги
Только оценка 3. Нет reconciler для orphan, отдельной ограниченной S3 identity API, presigned flow, thumbnail/worker, исследования памяти и полного fuzz/security audit. HTTP допустим для localhost с синтетическими данными; удалённая демонстрация требует TLS. http.server, соединение БД на запрос и отсутствие ограничения общего числа HTTP threads — учебные упрощения. Одна загрузка ограничена по bytes/pixels, но много параллельных декодирований может превысить лимит памяти API 512 MiB. Истёкшие сессии/старые ключи не чистятся фоновым заданием. PostgreSQL, S3, LB и host — одиночные точки отказа; переживается остановка одной API-реплики и рестарт с сохранением volumes, а не потеря диска или host.