Негативные загрузки, приватный bucket, очистка orphan и пик памяти при десяти одновременных upload лежат рядом с командами, которыми это воспроизводится.
11 KiB
Отчёт — лабораторная 4
- Автор, группа: Булацев, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 4. Трек 5 не заявляется.
- Commit/PR: локальные коммиты после переноса lab3; PR не публиковался в этой сессии
- Использованные источники, библиотеки и помощь ИИ: контракт репозитория, документация SeaweedFS S3, boto3, Pillow. Реализация и прогон проверок сделаны с помощью Cursor.
Запуск из чистого clone
Нужны Docker Compose v2 и Python 3.9+ на хосте. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85 (sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a).
cp .env.example .env
# заменить синтетические пароли и S3-ключи в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2
migrate применяет SQL один раз. s3-init создаёт bucket, если его ещё нет, и при повторе только проверяет его. Порт снаружи один: 127.0.0.1:8080 у HAProxy. Реплики API, Postgres, Redis и SeaweedFS наружу не опубликованы.
Готовность: GET http://127.0.0.1:8080/health/ready отвечает 200, когда доступны Postgres, Redis и bucket. Недоступный S3 даёт 503.
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
python -X utf8 scripts/grade4_checks.py
python -X utf8 scripts/grade4_infra.py
Остановка без удаления данных: docker compose --env-file .env stop. Полное удаление учебных volumes: docker compose --env-file .env down -v.
На Windows *.sh запускались через Git Bash: оболочка не умеет стартовать shell-скрипт как Win32-процесс. Сами scripts/restart.sh и scripts/stop-one.sh не менялись под Windows.
Архитектура и решения
Клиент ходит только в HAProxy. Две реплики API без публичных портов читают общие Postgres, Redis и SeaweedFS. Из lab3 перенесены сессии в Redis с AOF, идемпотентность POST сообщения, drain по SIGTERM и миграции отдельным контейнером. В этой работе добавлены байты вложений.
Источник истины для пользователей, чатов, сообщений и метаданных вложений — Postgres. Байты лежат в приватном bucket messenger-attachments, ключ назначает сервер: originals/<uuid>. Имя файла только отображается. Публичный API не отдаёт ключ, адрес хранилища и credentials.
201 возвращается после PUT и COMMIT метаданных со status=ready. Если COMMIT не прошёл, процесс удаляет объект. Намерение пишется в blob_writes до PUT. Строки со committed=false старше ORPHAN_GRACE_SECONDS (120) снимает фоновый обход: свежий незаконченный upload не трогается, привязанный к сообщению объект не удаляется, потому что у него committed=true. Обрыв клиента до конца тела не создаёт объект: в bucket пишется уже проверенный буфер.
Лимит 10 MiB смотрится по Content-Length до чтения тела и повторно по фактическому потоку. Число пикселей берётся из заголовка PNG/JPEG до Pillow.verify(). MIME сверяется с сигнатурой, а не с заявленным Content-Type в одиночку.
/health/ready зависит от Postgres, Redis и HeadBucket. Сессии по-прежнему в Redis (SESSION_STORE=redis), не в Postgres.
| Роль | Сервис | Образ | Проверка | Volume | Порт |
|---|---|---|---|---|---|
| api | api ×2 | сборка mtusi-messenger:lab4 |
/health/ready |
нет | только внутри сети |
| postgres | postgres | postgres:16.6-alpine |
pg_isready |
pg_data |
не опубликован |
| redis | redis | redis:7.4.2-alpine |
redis-cli ping |
redis_data |
не опубликован |
| load_balancer | lb | haproxy:2.8.14-alpine |
backend /health/ready |
нет | 127.0.0.1:8080 |
| s3 | s3 | chrislusf/seaweedfs:3.85 |
master status и ответ порта 9000 | s3_data |
не опубликован |
Образ minio/minio в этом окружении с Docker Hub не скачивается, поэтому взято одно из разрешённых хранилищ — SeaweedFS. UI filer выключен. Анонимная identity без прав. Ключ API может читать, писать и администрировать только свой bucket; создание другого bucket отвечает AccessDenied.
Доказательства критериев
Стенд: 12th Gen Intel Core i5-12450H, 16 ГБ RAM. Лимиты контейнера API: 0.50 CPU и 256 МиБ.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS, SHA-256 вложения совпал, посторонний получил 404 | вывод команды |
Сохранность lab3 и пустой attachment_ids |
тот же smoke и scripts/grade4_checks.py |
текстовый POST остаётся 201, в истории attachment_ids: [] |
evidence/grade4-api.txt |
| Оригинал PNG и JPEG | scripts/grade4_checks.py |
201 ready, скачивание побайтно, без Location |
evidence/grade4-api.txt |
| Опасное имя, подмена MIME, обрезка, пиксели, >10 МиБ | scripts/grade4_checks.py |
400 / 415 / 413, ни одного 500 | evidence/grade4-api.txt |
| Чужой чат и чужое вложение | scripts/grade4_checks.py |
404 и для метаданных, и для байтов | evidence/grade4-api.txt |
| Restart с volumes | tests/resilience.py --mode persistence через scripts/restart.sh |
PASS: сессия, сообщение и исходный файл на месте | вывод команды |
| Остановка загрузившей реплики | tests/resilience.py --mode failover через scripts/stop-one.sh |
2 реплики до отказа; запись вернулась за 3.583 с; 105 успешных POST, 1 ошибка переходного периода; файл скачался снова | вывод команды |
| Приватный bucket вне API | scripts/grade4_infra.py |
анонимный GET bucket — 403; порт 9000 не опубликован | evidence/grade4-infra.json |
| Ограниченные ключи | тот же скрипт | create_bucket другого имени — AccessDenied |
evidence/grade4-infra.json |
| Компенсация orphan | тот же скрипт, grace 120 с | старый незакоммиченный объект удалён, свежий оставлен | evidence/grade4-infra.json |
| Память 10 загрузок | тот же скрипт, docker stats | 10×230778 байт, все 201, пик API 61.7 МиБ при лимите 256 | evidence/grade4-infra.json |
Content-Length: 10485761 при коротком теле отвечает 413 до дочитывания заявленного размера.
Эксперименты и отказы
Гипотеза уровня 4: десять одновременных загрузок около 230 КиБ не поднимают RSS реплики к лимиту 256 МиБ, потому что тело ограничено 10 МиБ и не декодируется целиком до проверки пикселей. Один прогон, без прогрева отдельной фазой. Это не профиль RPS сообщений.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
scripts/restart.sh (postgres, redis, s3, api), volumes сохранены |
те же сессия, сообщение и байты | PASS публичного persistence | готовность вернулась в пределах ожидания теста (90 с) |
scripts/stop-one.sh одной реплики |
другая реплика принимает POST и отдаёт тот же файл | recovery 3.583 с, дублей нет, вложение совпало | остановленная реплика сама не поднималась |
| Незакоммиченный объект старше grace | объект исчезает, свежий нет | удалена 1 старая запись, свежая осталась | без потери ready-вложений |
| Анонимный S3 GET | отказ | 403 | — |
Ограничения и следующие шаги
Один Docker-хост. Отказ машины гасит и API, и Postgres, и SeaweedFS. Несколько реплик API этого не лечат.
Скачивание и загрузка держат в памяти процесса не больше лимита 10 МиБ плюс проверку Pillow. Это граница, а не потоковая отдача клиенту минуя буфер. Эксперимент памяти сделан на файлах ~226 КиБ, не на десяти одновременных файлах по 10 МиБ.
Окно между PUT и COMMIT закрывается немедленным удалением при ошибке и обходом раз в 30 с. Объект, умерший внутри grace 120 с, временно занимает место. Прямой presigned upload и отдельный reconciler всего bucket не делались: это трек 5.
Случайный ключ и закрытый bucket не заменяют проверку участника чата: скачивание идёт через API и для постороннего даёт 404, даже если он угадает UUID.