Files
mtusi2026lab4/REPORT.md
T
dawuduk 8faf08d8eb Зафиксировать проверки уровня 4 и отчёт.
Негативные загрузки, приватный bucket, очистка orphan и пик памяти при десяти одновременных upload лежат рядом с командами, которыми это воспроизводится.
2026-11-09 00:25:42 +03:00

11 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Булацев, БПИ2301
  • Целевая оценка; выбранный трек 5, если нужен: 4. Трек 5 не заявляется.
  • Commit/PR: локальные коммиты после переноса lab3; PR не публиковался в этой сессии
  • Использованные источники, библиотеки и помощь ИИ: контракт репозитория, документация SeaweedFS S3, boto3, Pillow. Реализация и прогон проверок сделаны с помощью Cursor.

Запуск из чистого clone

Нужны Docker Compose v2 и Python 3.9+ на хосте. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85 (sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a).

cp .env.example .env
# заменить синтетические пароли и S3-ключи в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2

migrate применяет SQL один раз. s3-init создаёт bucket, если его ещё нет, и при повторе только проверяет его. Порт снаружи один: 127.0.0.1:8080 у HAProxy. Реплики API, Postgres, Redis и SeaweedFS наружу не опубликованы.

Готовность: GET http://127.0.0.1:8080/health/ready отвечает 200, когда доступны Postgres, Redis и bucket. Недоступный S3 даёт 503.

python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
python -X utf8 scripts/grade4_checks.py
python -X utf8 scripts/grade4_infra.py

Остановка без удаления данных: docker compose --env-file .env stop. Полное удаление учебных volumes: docker compose --env-file .env down -v.

На Windows *.sh запускались через Git Bash: оболочка не умеет стартовать shell-скрипт как Win32-процесс. Сами scripts/restart.sh и scripts/stop-one.sh не менялись под Windows.

Архитектура и решения

Клиент ходит только в HAProxy. Две реплики API без публичных портов читают общие Postgres, Redis и SeaweedFS. Из lab3 перенесены сессии в Redis с AOF, идемпотентность POST сообщения, drain по SIGTERM и миграции отдельным контейнером. В этой работе добавлены байты вложений.

Источник истины для пользователей, чатов, сообщений и метаданных вложений — Postgres. Байты лежат в приватном bucket messenger-attachments, ключ назначает сервер: originals/<uuid>. Имя файла только отображается. Публичный API не отдаёт ключ, адрес хранилища и credentials.

201 возвращается после PUT и COMMIT метаданных со status=ready. Если COMMIT не прошёл, процесс удаляет объект. Намерение пишется в blob_writes до PUT. Строки со committed=false старше ORPHAN_GRACE_SECONDS (120) снимает фоновый обход: свежий незаконченный upload не трогается, привязанный к сообщению объект не удаляется, потому что у него committed=true. Обрыв клиента до конца тела не создаёт объект: в bucket пишется уже проверенный буфер.

Лимит 10 MiB смотрится по Content-Length до чтения тела и повторно по фактическому потоку. Число пикселей берётся из заголовка PNG/JPEG до Pillow.verify(). MIME сверяется с сигнатурой, а не с заявленным Content-Type в одиночку.

/health/ready зависит от Postgres, Redis и HeadBucket. Сессии по-прежнему в Redis (SESSION_STORE=redis), не в Postgres.

Роль Сервис Образ Проверка Volume Порт
api api ×2 сборка mtusi-messenger:lab4 /health/ready нет только внутри сети
postgres postgres postgres:16.6-alpine pg_isready pg_data не опубликован
redis redis redis:7.4.2-alpine redis-cli ping redis_data не опубликован
load_balancer lb haproxy:2.8.14-alpine backend /health/ready нет 127.0.0.1:8080
s3 s3 chrislusf/seaweedfs:3.85 master status и ответ порта 9000 s3_data не опубликован

Образ minio/minio в этом окружении с Docker Hub не скачивается, поэтому взято одно из разрешённых хранилищ — SeaweedFS. UI filer выключен. Анонимная identity без прав. Ключ API может читать, писать и администрировать только свой bucket; создание другого bucket отвечает AccessDenied.

Доказательства критериев

Стенд: 12th Gen Intel Core i5-12450H, 16 ГБ RAM. Лимиты контейнера API: 0.50 CPU и 256 МиБ.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 PASS, SHA-256 вложения совпал, посторонний получил 404 вывод команды
Сохранность lab3 и пустой attachment_ids тот же smoke и scripts/grade4_checks.py текстовый POST остаётся 201, в истории attachment_ids: [] evidence/grade4-api.txt
Оригинал PNG и JPEG scripts/grade4_checks.py 201 ready, скачивание побайтно, без Location evidence/grade4-api.txt
Опасное имя, подмена MIME, обрезка, пиксели, >10 МиБ scripts/grade4_checks.py 400 / 415 / 413, ни одного 500 evidence/grade4-api.txt
Чужой чат и чужое вложение scripts/grade4_checks.py 404 и для метаданных, и для байтов evidence/grade4-api.txt
Restart с volumes tests/resilience.py --mode persistence через scripts/restart.sh PASS: сессия, сообщение и исходный файл на месте вывод команды
Остановка загрузившей реплики tests/resilience.py --mode failover через scripts/stop-one.sh 2 реплики до отказа; запись вернулась за 3.583 с; 105 успешных POST, 1 ошибка переходного периода; файл скачался снова вывод команды
Приватный bucket вне API scripts/grade4_infra.py анонимный GET bucket — 403; порт 9000 не опубликован evidence/grade4-infra.json
Ограниченные ключи тот же скрипт create_bucket другого имени — AccessDenied evidence/grade4-infra.json
Компенсация orphan тот же скрипт, grace 120 с старый незакоммиченный объект удалён, свежий оставлен evidence/grade4-infra.json
Память 10 загрузок тот же скрипт, docker stats 10×230778 байт, все 201, пик API 61.7 МиБ при лимите 256 evidence/grade4-infra.json

Content-Length: 10485761 при коротком теле отвечает 413 до дочитывания заявленного размера.

Эксперименты и отказы

Гипотеза уровня 4: десять одновременных загрузок около 230 КиБ не поднимают RSS реплики к лимиту 256 МиБ, потому что тело ограничено 10 МиБ и не декодируется целиком до проверки пикселей. Один прогон, без прогрева отдельной фазой. Это не профиль RPS сообщений.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
scripts/restart.sh (postgres, redis, s3, api), volumes сохранены те же сессия, сообщение и байты PASS публичного persistence готовность вернулась в пределах ожидания теста (90 с)
scripts/stop-one.sh одной реплики другая реплика принимает POST и отдаёт тот же файл recovery 3.583 с, дублей нет, вложение совпало остановленная реплика сама не поднималась
Незакоммиченный объект старше grace объект исчезает, свежий нет удалена 1 старая запись, свежая осталась без потери ready-вложений
Анонимный S3 GET отказ 403 —

Ограничения и следующие шаги

Один Docker-хост. Отказ машины гасит и API, и Postgres, и SeaweedFS. Несколько реплик API этого не лечат.

Скачивание и загрузка держат в памяти процесса не больше лимита 10 МиБ плюс проверку Pillow. Это граница, а не потоковая отдача клиенту минуя буфер. Эксперимент памяти сделан на файлах ~226 КиБ, не на десяти одновременных файлах по 10 МиБ.

Окно между PUT и COMMIT закрывается немедленным удалением при ошибке и обходом раз в 30 с. Объект, умерший внутри grace 120 с, временно занимает место. Прямой presigned upload и отдельный reconciler всего bucket не делались: это трек 5.

Случайный ключ и закрытый bucket не заменяют проверку участника чата: скачивание идёт через API и для постороннего даёт 404, даже если он угадает UUID.