Files
mtusi2026lab4-fork/REPORT.md

14 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Березин Герман / БВТ2304
  • Целевая оценка: 4
  • Commit/PR: после публикации
  • Использованные источники, библиотеки и помощь ИИ: Go 1.26, pgx, go-redis, minio-go v7 (S3-клиент), HAProxy 3.0, PostgreSQL 17, Valkey 8.1, SeaweedFS (S3); код lab3 перенесён за основу; ИИ-ассистент использован при разработке

Запуск из чистого clone

Требуются Docker 29 с Compose v2 и Python 3.9+.

cp .env.example .env
sh scripts/mksecrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test

Порядок старта: postgres, valkey, s3 → migrate (однократно) → s3-init (идемпотентное создание приватного bucket) → api × 2 → lb; рядом работает janitor. Публичный адрес: http://localhost:8080.

Остановка без потери данных: docker compose --env-file .env stop. Намеренное удаление учебных данных: docker compose --env-file .env down -v.

Проверки:

make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/attachments.py
python3 tests/s3_checks.py
python3 tests/upload_memory.py --output evidence/upload-memory.json
python3 tests/idempotency.py
python3 tests/scenario.py --mode failover-each --output evidence/failover-each.json
python3 tests/scenario.py --mode rolling --output evidence/rolling.json

После make test-failover остановленную реплику восстанавливают: docker compose --env-file .env up -d --wait.

Архитектура и решения

Клиент → HAProxy → api × 2 → PostgreSQL (метаданные) и SeaweedFS S3 (байты). Valkey остаётся общим кэшем сессий, источник истины сессий — PostgreSQL.

  • Хранилище. S3-сервер — SeaweedFS (образ закреплён по digest). Образы MinIO недоступны для скачивания, поэтому выбран SeaweedFS. Bucket messenger-attachments приватный, данные лежат в volume s3_data. Порты S3 наружу не публикуются, в хост-сеть выходит только lb.
  • Модель. Таблица attachments (id, chat_id, owner_id, filename, content_type, size_bytes, sha256, object_key, created_at) и message_attachments (message_id, attachment_id, position). Object key — attachments/<uuid>, задаётся сервером; filename только отображается и проверяется (1–255 символов, без /, \, NUL и управляющих символов).
  • Загрузка. Сырое тело PNG/JPEG идёт потоком в S3 без накопления в памяти API и без локальных файлов. Проверки: Content-Type → 415; Content-Length и MaxBytesReader до 10 MiB → 413; magic bytes → 415 (подмена MIME); после записи — заголовок изображения (image.DecodeConfig, без декодирования пикселей), совпадение формата с Content-Type, хвост файла (IEND/EOI) → 415 для повреждённых и обрезанных файлов; ≤ 40 млн пикселей → 413. SHA-256 и размер считаются во время потока. При любой ошибке объект удаляется. 201 ready возвращается только после записи объекта и строки в PostgreSQL.
  • Скачивание. Доступ только участникам чата (JOIN с chat_members), иначе 404. Первый блок читается до отправки заголовков, поэтому сбой S3 даёт 503, а не оборванный ответ 200. Redirect нет.
  • Сообщения. attachment_ids (до 10, уникальные); вложение должно принадлежать этому чату, иначе 404; пустой text допустим при наличии вложений. Хеш тела идемпотентности включает attachment_ids, для сообщений без вложений он совпадает с lab3.
  • Права S3. API и janitor используют отдельные ключи (Read/Write/List только на свой bucket). Административные ключи есть только у s3-init, который создаёт bucket (повторный запуск ничего не меняет). Секреты генерирует scripts/mksecrets.sh, в Git их нет.
  • Сети. s3 находится в сети storage вместе с api, janitor, s3-init; postgres, valkey, lb — в backend. Админ-интерфейсы SeaweedFS (master, filer) не публикуются.
  • Остальное перенесено из lab3: HAProxy с проверками готовности, идемпотентность, отдельные миграции, graceful shutdown.

Согласованность БД и S3

Порядок записи: объект в S3 → строка в PostgreSQL.

Сбой Результат Компенсация
Клиент оборвал загрузку запись в S3 не завершается, ответа нет объект удаляется в обработчике
Невалидное изображение, превышение лимитов объект записан, но не принят объект удаляется до ответа
Ошибка PostgreSQL после S3 PUT 503 объект удаляется в обработчике
Падение процесса между PUT и INSERT остаётся объект без строки janitor удаляет такие объекты

janitor (messenger janitor) раз в CLEANUP_INTERVAL_SECONDS (300 с) перебирает объекты под префиксом attachments/, проверяет их по attachments.object_key и удаляет объекты без записи, старше CLEANUP_GRACE_SECONDS (600 с). Grace period защищает объекты текущих загрузок. Разовый запуск: docker compose run --rm janitor cleanup. Строки без объекта автоматически не чистятся: файл читается как 404/503, строка сохраняется.

Лимиты памяти и потоковая обработка

Параметр Значение
Размер файла не более 10 MiB (MAX_UPLOAD_BYTES), проверяется до чтения тела
Пиксели не более 40 млн (MAX_IMAGE_PIXELS), декодируется только заголовок
Параллельные загрузки на реплику не более 10 (UPLOAD_CONCURRENCY), иначе 429 с Retry-After
Буфер на загрузку не более одной части multipart S3 (5 MiB) и 256 KiB для проверки заголовка
Таймауты API ReadHeader 5 s, Read 10 s, Write 15 s, запись в S3 до 60 s, чтение из S3 до 30 s
Лимиты контейнеров api 192 MiB и GOMEMLIMIT=150MiB; s3 512 MiB; postgres 512 MiB; остальные 64–128 MiB

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS evidence/smoke.txt
Сохранность после restart (метаданные и оригинал) make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; перезапускаются postgres, valkey, s3, api, lb, janitor evidence/persistence.txt
Загрузка → остановка реплики → скачивание через другую make test-failover ACTION_SCRIPT=scripts/stop-one.sh (обе реплики) PASS, 0 ошибок записи, восстановление около 3.5 s, оригинал читается evidence/failover-1.txt, evidence/failover-2.txt
Большой файл, повреждённое изображение, подмена MIME, чужое и чужого чата attachment_id python3 tests/attachments.py 413 / 415 / 415 / 404 / 404, ни одного 500 evidence/attachments.txt
Приватный bucket вне API, права ключей python3 tests/s3_checks.py анонимный GET/PUT/list и неверные ключи → 403; ключ API не создаёт bucket; наружу опубликован только lb evidence/s3-checks.txt
Недоступность S3 python3 tests/s3_checks.py при остановленном S3 загрузка и скачивание → 503, метаданные и текстовые сообщения работают, после запуска всё восстанавливается evidence/s3-checks.txt
Очистка неучтённых объектов python3 tests/s3_checks.py свежий объект сохраняется, объект старше grace удаляется, используемый объект остаётся evidence/s3-checks.txt
≥10 одновременных загрузок, пик памяти python3 tests/upload_memory.py 12 потоков × 3 файла по 9.3 MiB, 36 из 36 успешно, пик api 103–120 MiB при лимите 192 MiB evidence/upload-memory.json
Идемпотентность из lab3 python3 tests/idempotency.py 32 параллельных запроса → 1 сообщение evidence/idempotency.txt
Отказы каждой реплики и rolling update под нагрузкой tests/scenario.py RPS, ошибки, восстановление evidence/failover-each.json, evidence/rolling.json
Идемпотентный bootstrap bucket повторный docker compose up s3-init завершается с кодом 0, bucket не пересоздаётся docker compose logs s3-init

Эксперименты и отказы

Стенд: один хост; лимиты контейнеров как выше. Нагрузка сообщений — 8 потоков, closed-loop, при ошибке повтор с тем же ключом. Загрузки — 12 потоков по 3 файла PNG 9 722 608 байт (несжимаемый шум).

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Загрузка 12×3 файла параллельно память API ограничена пик api 120 / 103 MiB (в покое около 62 MiB), ошибок нет потерь нет
Остановка S3 503 на файлах, текст работает как ожидалось после запуска S3 около 20–30 s до готовности записи, файлы целы
Остановка каждой API-реплики (под нагрузкой сообщений) продолжение чтения и записи 0 неуспешных попыток, RPS около 440 против 520 до отказа возврат реплики в ротацию около 6.5–7 s после старта
Rolling update без простоя 4 неуспешные попытки, RPS около 517 старые реплики заменены и не отвечают, дубликатов нет
Restart всего стенда данные и оригинал сохраняются PASS persistence прежний токен действителен

Ограничения и следующие шаги

  • Целостность изображения проверяется по заголовку и хвосту файла, но не полным декодированием: повреждение в середине файла с корректными заголовком и концом не обнаруживается. Полное декодирование потребовало бы памяти, пропорциональной размеру изображения.
  • Падение процесса между S3 PUT и INSERT оставляет объект до очистки janitor; задержка до удаления — grace period плюс интервал (до 15 минут).
  • Если S3 перезапускается, запись становится доступной через 20–30 s после старта; healthcheck S3 учитывает это.
  • Filer SeaweedFS слушает внутри сети storage без аутентификации. Доступ к нему имеют только контейнеры api, janitor, s3-init; наружу порт не публикуется. S3-аутентификация действует на порту 9000.
  • HAProxy, PostgreSQL, Valkey и S3 — единые точки отказа; репликации нет, выживание отказа этих узлов не заявляется.
  • Измерение памяти — выборка docker stats раз в секунду, это оценка, а не точный пик.
  • Нагрузочные генераторы Python (closed-loop) ограничены клиентом, RPS — ориентир.
  • Секреты лежат в ./secrets вне Git и читаются всеми локально, чтобы их читал процесс с UID 10001; это допустимо только для локального стенда.