Files
mtusi2026lab4/REPORT.md
T

22 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Гришко Дмитрий Михайлович, БВТ2303.
  • Целевая оценка: 5, трек 1 «Прямой upload».
  • Репозиторий: Gitea.
  • Commit/PR: ссылка
  • Хост: AMD Ryzen 9 PRO 7940HS (8 ядер / 16 потоков), 16 GB RAM; Windows 11, WSL2 Ubuntu, kernel 6.6.87.1-microsoft-standard-WSL2. Docker Desktop: 16 CPU, 7.40 GiB RAM, Engine 29.8.1, Compose 5.5.1, cgroup v2; Python 3.12.3.
  • Источники: задание, контракт, OpenAPI, S3 POST policy, cgroup v2.
  • Библиотеки: Go 1.22.2, pgx v5.5.5, go-redis v9.17.3, migrate v4.17.1, minio-go v7.0.76, madmin-go v3.0.70, x/crypto v0.27.0; полные версии — go.mod, package-lock.json, анализ. Помощь ИИ: OpenAI Codex — реализация, проверки и оформление.

Запуск из чистого clone

Команды для WSL Ubuntu/Linux. Нужны Git, Make, Python 3.12 с venv, Docker/Compose с --wait, интернет для сборки. Порты: 8080, 5173, 8404, 9000; эксперименту — 18080, 19000, 18404.

Клонирование и настройка .env:

git clone --branch solution/BVT2303-Grishko https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab4-fork.git
cd mtusi2026lab4-fork
make app-init

app-init создаёт .env, случайные пароли и secrets/; существующие значения сохраняет. Секреты не включены в Git. Изменение пароля .env не меняет пароль роли в уже созданной БД.

Сборка и запуск:

docker compose --project-name highload-lab4 --env-file .env -f compose.yml config --quiet
make app-up
make app-status
curl --fail http://127.0.0.1:8080/health/ready

Compose ждёт PostgreSQL/Redis/MinIO, выполняет миграции и bootstrap, запускает две API, LB, UI и очистку. Нормально: migrate/s3-bootstrap — Exited (0), сервисы с healthcheck — healthy. UI: http://127.0.0.1:5173, API: http://127.0.0.1:8080, статистика: http://127.0.0.1:8404/stats. S3 — loopback 9000, консоль отключена.

Образы: API golang:1.22.2-bookworm → debian:12.15-slim, PostgreSQL 16.10-bookworm, Redis 7.4.11-bookworm, HAProxy 3.2.25-alpine, frontend node:22-bookworm-slim. MinIO собирается из официального RELEASE.2025-04-22T22-12-26Z, commit 0d7408fc9969caf07de6a8c3a84f9fbb10a6739e, builder Go 1.24.2. Теги не равны digest; точные image ID эксперимента сохранены.

Проверки и доказательства:

make check
make test
python3 scripts/generate_evidence.py

Генератор повторяет функциональные, backend -race, frontend и отказные проверки. Для каждого критерия создаёт Markdown с командой, временем, exit code, выводом и ссылками на код в evidence/criteria; история — runs/. Нагрузку заново не запускает: сверяет готовую основную серию по seal, архиву и сырым данным. Для другой серии: --campaign <путь>. Отказы кратковременно останавливают сервисы этого стенда; в конце восстанавливаются две API, volumes не удаляются.

Новая серия — по инструкции. Для графиков: bash experiments/setup.sh; результат — только PNG. Генерацию доказательств и нагрузочные эксперименты не запускать параллельно.

Безопасная остановка и возобновление:

make app-down
make app-start

Данные сохраняются. Намеренное удаление всех учебных данных обычного стенда (в проверках не используется):

docker compose --project-name highload-lab4 --env-file .env -f compose.yml down -v

Архитектура и решения

React → HAProxy → API ×2 → PostgreSQL: сообщения, Attachment, журналы
                        → Redis: общие Bearer-сессии
                        → MinIO: приватные оригиналы
React ── presigned POST ─→ MinIO: staging
migrate → PostgreSQL; s3-bootstrap → MinIO; upload-cleanup → PostgreSQL + MinIO

Из lab3 сохранены Argon2id, Redis-сессии, PostgreSQL, keyset-пагинация, балансировка, X-Request-Id/X-Instance-Id и общая идемпотентность. Сообщение, упорядоченные attachment_ids и результат Idempotency-Key сохраняются одной транзакцией; изменённый body с тем же ключом даёт 409. Пустой текст допустим с вложениями; файл чужого чата привязать нельзя.

Миграции 4–6 добавляют Attachment/связи, upload_attempts и direct_uploads. PostgreSQL определяет доступ/готовность, MinIO хранит байты. Постоянного оригинала на API нет: имя временного файла удаляется сразу после открытия, дескриптор закрывается после запроса/аварии.

  • Proxy: авторизация → tmpfs + SHA-256 → MIME/размеры/полный Decode → устойчивый журнал → S3 PUT под блокировкой → метаданные и удаление журнала одной транзакцией → 201 ready.
  • Direct: init владельца/чата → POST-подпись на 120 с для точного staging key/MIME/размера → клиент отправляет файл S3 → complete владельца. Под row lock выполняется COPY в отдельный final key с условием ETag; API читает final, проверяет размер/SHA-256/изображение и атомарно публикует ready. Повтор complete возвращает тот же Attachment; replay формы не меняет original. Срок complete — истечение подписи +600 с.
  • Чтение: Bearer и членство в чате; чужое вложение — 404. Bytes идут потоком через API без redirect. UI использует авторизованный fetch/Blob URL, освобождает URL; токена в URL нет.
  • Очистка: журнал до S3-операции, без слепого DELETE при неопределённом COMMIT. Проход каждые 60 с, batch ≤100, grace 600 с (минимум 120), SKIP LOCKED и защита готовых метаданных. Staging учитывает срок complete + grace и повторную запись после ready; lifecycle старше суток действует только на staging/direct/*, receipt хранится ≥24 ч. Ошибки зависимостей оставляют задачу для повтора.
  • Лимиты: оригинал ≤10 МиБ, ≤40 млн пикселей; буфер 32 КиБ, tmpfs 16 МиБ, общий слот proxy/complete — один на API, RAM 512 МиБ. GOMEMLIMIT 384 МиБ — мягкий лимит Go. Операция 25 с, HTTP 30 с, LB 35 с; ожидание слота отменяется контекстом.
  • S3: API/cleanup имеют отдельные Get/Put/Delete только originals/* и staging/direct/* рабочего bucket плюс GetBucketLocation/ListBucket. Root — у MinIO/bootstrap и отдельного тестового сервиса. Анонимный доступ запрещён; S3 host-порт только loopback, CORS только localhost/127.0.0.1:5173. DB/Redis/API host-порты не публикуются.

APP_, TTL, API_REPLICAS и S3_ из .env используются Compose/приложением; *_FILE — read-only файлы. SESSION_STORE=postgres в исходном примере — подсказка skeleton: реализация всегда использует Redis. MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS закреплены константами 10 МиБ/40 млн, изменение строк .env лимиты не меняет. Генератор добавляет public endpoint, origins и grace; tmpfs/CPU/RAM заданы Compose.

Доказательства критериев

Полный вывод — по ссылкам; общие команды генератор выполняет один раз. UI — дополнение к обязательным критериям.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make check, make test Контрактные сценарии и checksum public-smoke
Возможности lab3 baseline + backend Сессии, Argon2id, cursor, идемпотентность; -race baseline
Общие PostgreSQL/S3 и две API inventory + isolation 2 healthy API, volumes, без локальных оригиналов shared-storage
Proxy upload, сообщения, download make test-grade3 PNG/JPEG, ready, attachment-only message, те же байты proxy-attachments
Валидация и ACL backend + proxy Размер, пиксели, повреждения, MIME, filename, чужой ID/чат; без 500 validation-access
Переключение API proxy/direct failures + public failover Остановка обеих обслуживших реплик по очереди, download другой replica-failover
Restart с volumes public persistence + direct restart Сессия, receipt, metadata и bytes сохранены; реальные процессы перезапущены persistence
Обрыв HTTP и отказ S3/БД backend recovery Нет ложного ready; журнал переживает rollback/crash upload-recovery
Безопасная очистка backend cleanup + dry-run Fresh/locked/ready защищены; просроченные удалены; retry safe-cleanup
Потоковая обработка, ≥10 upload inventory + аудит серии 10 клиентов; max API lifetime 397.36 МиБ, без OOM bounded-memory
Bootstrap и private bucket backend permissions + isolation Идемпотентность, ограниченные права, anonymous 403, console off s3-permissions
Трек 1: прямой flow direct HTTP + backend Presigned POST; один результат complete; replay не меняет final direct-flow
Трек 1: негативные сценарии backend direct validation/access Подмена policy, размер/SHA/MIME, чужой upload, срок и CORS direct-validation-access
Трек 1: восстановление backend + direct failures COPY/GET/БД/crash, повтор complete, отмена ожидания direct-recovery
Трек 1: незавершённые upload backend direct cleanup Grace, replay staging, dry-run/retry, lifecycle только staging direct-cleanup
Трек 1: исследование аудит основной серии 24 прогона, 720/720 оригиналов; H1 подтверждена в заданных условиях upload-comparison
Дополнительно: React UI npm run build TypeScript-проверка и сборка frontend

Эксперименты и отказы

Сравнение proxy/direct

H1: direct уменьшает RX+TX двух API на проверенное вложение минимум на 35% по медиане каждого профиля, без ошибок/OOM/рестартов; каждый парный R ≤0.70. RAM сравниваем без обещания снижения. Гипотеза, методика, исходный протокол, seal.

Хост указан выше. Две API по 0.5 CPU/512 МиБ, GOMAXPROCS=1, GOMEMLIMIT=384MiB, пул PG=10/API; PG/MinIO по 1 CPU/512 МиБ, Redis 0.25 CPU/128 МиБ, HAProxy 0.5 CPU/128 МиБ, swap отключён. Точные image ID.

Четыре RGB8 PNG: 1/10 МиБ × 1024×1024/8000×5000; encoded-размер регулируется валидным chunk, пиксели одной геометрии одинаковые. Seed 20261018, 3 парных повтора, порядок AB/BA сбалансирован. Каждый из 24 прогонов: свежие volumes, 4 запроса прогрева, пауза 2 с, idle 5 с, затем 3 волны по 10 клиентов, пауза 1 с. Arrival — барьерные closed-loop bursts. Окна 3.56–20.25 с, суммарно 233.31 с; 720 измеряемых и 96 прогревочных загрузок. Пилот исключён.

RAM — каждые 100 мс, сеть/CPU — разность счётчиков, фон не вычитается. Все 720 originals проверены вторым участником после измеряемого окна; ошибок/OOM/рестартов API/S3 нет. Покрытие sampler ≥80.1%, max gap 0.495 с, разброс старта ≤13.23 мс, CPU генератора ≤0.115 ядра, фон ≤0.344% payload — критерии качества выполнены.

Медианы трёх прогонов, proxy → direct. RAM — максимум sampled памяти одной API из двух, не сумма. Снижение трафика — по медиане парных R.

Файл / пиксели API МиБ/ready Снижение; диапазон R API RAM, МиБ p95, с ready/с
1 МиБ / 1.05 млн 2.021 → 1.023 49.34%; 0.5064–0.5080 136.05 → 138.72 0.350 → 0.665 7.89 → 6.62
10 МиБ / 1.05 млн 20.114 → 10.045 50.05%; 0.4991–0.4998 148.44 → 147.18 1.199 → 2.429 4.71 → 3.11
1 МиБ / 40 млн 2.020 → 1.036 48.74%; 0.5071–0.5128 381.27 → 384.05 2.522 → 3.187 3.15 → 2.80
10 МиБ / 40 млн 20.121 → 10.046 50.07%; 0.4992–0.4996 392.00 → 393.06 3.148 → 5.166 2.32 → 1.78
Файл / пиксели p50, с p99, с API CPU, с/прогон S3 CPU, с/прогон
1 МиБ / 1.05 млн 0.138 → 0.330 0.353 → 0.665 0.965 → 1.037 0.622 → 1.491
10 МиБ / 1.05 млн 0.624 → 1.760 1.371 → 2.519 2.879 → 2.605 2.728 → 6.505
1 МиБ / 40 млн 1.294 → 1.646 2.550 → 3.235 6.939 → 7.587 0.954 → 1.924
10 МиБ / 40 млн 1.835 → 3.217 3.997 → 5.442 9.327 → 9.928 3.337 → 7.203

Вывод: H1 подтверждена в исследованных условиях: медианные R=0.4993–0.5126, все пары ниже 0.70. Экономия соответствует исключению передачи оригинала API→S3: API остаётся одно полное чтение для проверки. Ускорения и устойчивого снижения RAM не получено: direct p95 выше, goodput ниже. Память прежде всего растёт с числом пикселей; оба flow выполняют Decode. Max lifetime API — 397.36 МиБ при лимите 512.

Цена переносится на S3: RX+TX примерно удваивается, CPU возрастает в 2.0–2.4 раза. На 10 МиБ MinIO достигает лимита памяти: memory.events.max >0, lifetime peak до 512.84 МиБ при memory.max=512 МиБ, OOM=0; есть CPU throttling. Дополнительные round trips/COPY/GET и давление ресурсов согласуются с ростом задержки, но вклад каждого не изолирован. Складывать трафик API и S3 как независимые байты всей системы нельзя.

JSON · CSV · Трафик · RAM · p95.

Отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка обслужившей API Другая читает original Proxy/direct для обеих реплик Точный public failover — в протоколе; файлы сохранены
Restart DB/Redis/S3/API/cleanup Сессия, metadata и bytes сохранены Старый Bearer/receipt работают; StartedAt изменены Длительность — в протоколе; потери не обнаружены
Остановка MinIO Live 200, ready 503, затем original доступен Проверено на обеих API Проверено восстановление после ready; точный downtime не измерялся
Обрыв HTTP, PUT/COPY/GET/INSERT/БД/crash Нет ложного ready; retry/cleanup Backend fault-тесты с БД/S3 и тестовыми обёртками Повреждённый файл не опубликован; очистка после grace
Ошибка DELETE/БД при cleanup Задача остаётся Повтор успешен, fresh/locked/ready защищены Срок при недоступной зависимости не гарантируется

Ограничения и следующие шаги

Один WSL-host, синтетический PNG, без TLS/WAN и браузерного benchmark; три повтора дают ограниченную оценку разброса. Запросы внутри прогона зависимы; p99 из 30 запросов близок к максимуму. Sampled RAM может пропустить всплеск; lifetime peak включает startup/прогрев. Page cache и чужая нагрузка хоста полностью не изолированы. Это не тест максимального RPS. Полные ограничения.

Общей транзакции PostgreSQL/S3 нет: журнал обеспечивает очистку неопубликованных объектов, но полного bucket reconciler и восстановления отсутствующих originals нет. Готовые непривязанные вложения сохраняются. Lifecycle проверен по настройкам/prefix; сутки не выжидались. Подпись — временное право записи staging, не одноразовая ссылка и не отзывается немедленно logout.

Единственные MinIO/PG/Redis не дают HA хранилищ; проверен restart с volumes, не потеря диска. HTTP/loopback и UI-токен в localStorage — учебные ограничения. Следующие проверки: TLS/WAN, длительная нагрузка, отдельный эксперимент с ресурсами S3 и стоимостью COPY/валидации; ускорение пока гипотеза.