22 KiB
Отчёт — лабораторная 4
- Автор, группа: Гришко Дмитрий Михайлович, БВТ2303.
- Целевая оценка: 5, трек 1 «Прямой upload».
- Репозиторий: Gitea.
- Commit/PR:
- Хост: AMD Ryzen 9 PRO 7940HS (8 ядер / 16 потоков), 16 GB RAM; Windows 11, WSL2 Ubuntu, kernel
6.6.87.1-microsoft-standard-WSL2. Docker Desktop: 16 CPU, 7.40 GiB RAM, Engine 29.8.1, Compose 5.5.1, cgroup v2; Python 3.12.3. - Источники: задание, контракт, OpenAPI, S3 POST policy, cgroup v2.
- Библиотеки: Go 1.22.2, pgx v5.5.5, go-redis v9.17.3, migrate v4.17.1, minio-go v7.0.76, madmin-go v3.0.70, x/crypto v0.27.0; полные версии — go.mod, package-lock.json, анализ. Помощь ИИ: OpenAI Codex — реализация, проверки и оформление.
Запуск из чистого clone
Команды для WSL Ubuntu/Linux. Нужны Git, Make, Python 3.12 с venv, Docker/Compose с --wait, интернет для сборки. Порты: 8080, 5173, 8404, 9000; эксперименту — 18080, 19000, 18404.
Клонирование и настройка .env:
git clone --branch solution/BVT2303-Grishko https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab4-fork.git
cd mtusi2026lab4-fork
make app-init
app-init создаёт .env, случайные пароли и secrets/; существующие значения сохраняет. Секреты не включены в Git. Изменение пароля .env не меняет пароль роли в уже созданной БД.
Сборка и запуск:
docker compose --project-name highload-lab4 --env-file .env -f compose.yml config --quiet
make app-up
make app-status
curl --fail http://127.0.0.1:8080/health/ready
Compose ждёт PostgreSQL/Redis/MinIO, выполняет миграции и bootstrap, запускает две API, LB, UI и очистку. Нормально: migrate/s3-bootstrap — Exited (0), сервисы с healthcheck — healthy. UI: http://127.0.0.1:5173, API: http://127.0.0.1:8080, статистика: http://127.0.0.1:8404/stats. S3 — loopback 9000, консоль отключена.
Образы: API golang:1.22.2-bookworm → debian:12.15-slim, PostgreSQL 16.10-bookworm, Redis 7.4.11-bookworm, HAProxy 3.2.25-alpine, frontend node:22-bookworm-slim. MinIO собирается из официального RELEASE.2025-04-22T22-12-26Z, commit 0d7408fc9969caf07de6a8c3a84f9fbb10a6739e, builder Go 1.24.2. Теги не равны digest; точные image ID эксперимента сохранены.
Проверки и доказательства:
make check
make test
python3 scripts/generate_evidence.py
Генератор повторяет функциональные, backend -race, frontend и отказные проверки. Для каждого критерия создаёт Markdown с командой, временем, exit code, выводом и ссылками на код в evidence/criteria; история — runs/. Нагрузку заново не запускает: сверяет готовую основную серию по seal, архиву и сырым данным. Для другой серии: --campaign <путь>. Отказы кратковременно останавливают сервисы этого стенда; в конце восстанавливаются две API, volumes не удаляются.
Новая серия — по инструкции. Для графиков: bash experiments/setup.sh; результат — только PNG. Генерацию доказательств и нагрузочные эксперименты не запускать параллельно.
Безопасная остановка и возобновление:
make app-down
make app-start
Данные сохраняются. Намеренное удаление всех учебных данных обычного стенда (в проверках не используется):
docker compose --project-name highload-lab4 --env-file .env -f compose.yml down -v
Архитектура и решения
React → HAProxy → API ×2 → PostgreSQL: сообщения, Attachment, журналы
→ Redis: общие Bearer-сессии
→ MinIO: приватные оригиналы
React ── presigned POST ─→ MinIO: staging
migrate → PostgreSQL; s3-bootstrap → MinIO; upload-cleanup → PostgreSQL + MinIO
Из lab3 сохранены Argon2id, Redis-сессии, PostgreSQL, keyset-пагинация, балансировка, X-Request-Id/X-Instance-Id и общая идемпотентность. Сообщение, упорядоченные attachment_ids и результат Idempotency-Key сохраняются одной транзакцией; изменённый body с тем же ключом даёт 409. Пустой текст допустим с вложениями; файл чужого чата привязать нельзя.
Миграции 4–6 добавляют Attachment/связи, upload_attempts и direct_uploads. PostgreSQL определяет доступ/готовность, MinIO хранит байты. Постоянного оригинала на API нет: имя временного файла удаляется сразу после открытия, дескриптор закрывается после запроса/аварии.
- Proxy: авторизация → tmpfs + SHA-256 → MIME/размеры/полный Decode → устойчивый журнал → S3 PUT под блокировкой → метаданные и удаление журнала одной транзакцией →
201 ready. - Direct: init владельца/чата → POST-подпись на 120 с для точного staging key/MIME/размера → клиент отправляет файл S3 → complete владельца. Под row lock выполняется COPY в отдельный final key с условием ETag; API читает final, проверяет размер/SHA-256/изображение и атомарно публикует ready. Повтор complete возвращает тот же Attachment; replay формы не меняет original. Срок complete — истечение подписи +600 с.
- Чтение: Bearer и членство в чате; чужое вложение — 404. Bytes идут потоком через API без redirect. UI использует авторизованный fetch/Blob URL, освобождает URL; токена в URL нет.
- Очистка: журнал до S3-операции, без слепого DELETE при неопределённом COMMIT. Проход каждые 60 с, batch ≤100, grace 600 с (минимум 120), SKIP LOCKED и защита готовых метаданных. Staging учитывает срок complete + grace и повторную запись после ready; lifecycle старше суток действует только на staging/direct/*, receipt хранится ≥24 ч. Ошибки зависимостей оставляют задачу для повтора.
- Лимиты: оригинал ≤10 МиБ, ≤40 млн пикселей; буфер 32 КиБ, tmpfs 16 МиБ, общий слот proxy/complete — один на API, RAM 512 МиБ. GOMEMLIMIT 384 МиБ — мягкий лимит Go. Операция 25 с, HTTP 30 с, LB 35 с; ожидание слота отменяется контекстом.
- S3: API/cleanup имеют отдельные Get/Put/Delete только originals/* и staging/direct/* рабочего bucket плюс GetBucketLocation/ListBucket. Root — у MinIO/bootstrap и отдельного тестового сервиса. Анонимный доступ запрещён; S3 host-порт только loopback, CORS только localhost/127.0.0.1:5173. DB/Redis/API host-порты не публикуются.
APP_, TTL, API_REPLICAS и S3_ из .env используются Compose/приложением; *_FILE — read-only файлы. SESSION_STORE=postgres в исходном примере — подсказка skeleton: реализация всегда использует Redis. MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS закреплены константами 10 МиБ/40 млн, изменение строк .env лимиты не меняет. Генератор добавляет public endpoint, origins и grace; tmpfs/CPU/RAM заданы Compose.
Доказательства критериев
Полный вывод — по ссылкам; общие команды генератор выполняет один раз. UI — дополнение к обязательным критериям.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make check, make test |
Контрактные сценарии и checksum | public-smoke |
| Возможности lab3 | baseline + backend | Сессии, Argon2id, cursor, идемпотентность; -race |
baseline |
| Общие PostgreSQL/S3 и две API | inventory + isolation | 2 healthy API, volumes, без локальных оригиналов | shared-storage |
| Proxy upload, сообщения, download | make test-grade3 |
PNG/JPEG, ready, attachment-only message, те же байты | proxy-attachments |
| Валидация и ACL | backend + proxy | Размер, пиксели, повреждения, MIME, filename, чужой ID/чат; без 500 | validation-access |
| Переключение API | proxy/direct failures + public failover | Остановка обеих обслуживших реплик по очереди, download другой | replica-failover |
| Restart с volumes | public persistence + direct restart | Сессия, receipt, metadata и bytes сохранены; реальные процессы перезапущены | persistence |
| Обрыв HTTP и отказ S3/БД | backend recovery | Нет ложного ready; журнал переживает rollback/crash | upload-recovery |
| Безопасная очистка | backend cleanup + dry-run | Fresh/locked/ready защищены; просроченные удалены; retry | safe-cleanup |
| Потоковая обработка, ≥10 upload | inventory + аудит серии | 10 клиентов; max API lifetime 397.36 МиБ, без OOM | bounded-memory |
| Bootstrap и private bucket | backend permissions + isolation | Идемпотентность, ограниченные права, anonymous 403, console off | s3-permissions |
| Трек 1: прямой flow | direct HTTP + backend | Presigned POST; один результат complete; replay не меняет final | direct-flow |
| Трек 1: негативные сценарии | backend direct validation/access | Подмена policy, размер/SHA/MIME, чужой upload, срок и CORS | direct-validation-access |
| Трек 1: восстановление | backend + direct failures | COPY/GET/БД/crash, повтор complete, отмена ожидания | direct-recovery |
| Трек 1: незавершённые upload | backend direct cleanup | Grace, replay staging, dry-run/retry, lifecycle только staging | direct-cleanup |
| Трек 1: исследование | аудит основной серии | 24 прогона, 720/720 оригиналов; H1 подтверждена в заданных условиях | upload-comparison |
| Дополнительно: React UI | npm run build |
TypeScript-проверка и сборка | frontend |
Эксперименты и отказы
Сравнение proxy/direct
H1: direct уменьшает RX+TX двух API на проверенное вложение минимум на 35% по медиане каждого профиля, без ошибок/OOM/рестартов; каждый парный R ≤0.70. RAM сравниваем без обещания снижения. Гипотеза, методика, исходный протокол, seal.
Хост указан выше. Две API по 0.5 CPU/512 МиБ, GOMAXPROCS=1, GOMEMLIMIT=384MiB, пул PG=10/API; PG/MinIO по 1 CPU/512 МиБ, Redis 0.25 CPU/128 МиБ, HAProxy 0.5 CPU/128 МиБ, swap отключён. Точные image ID.
Четыре RGB8 PNG: 1/10 МиБ × 1024×1024/8000×5000; encoded-размер регулируется валидным chunk, пиксели одной геометрии одинаковые. Seed 20261018, 3 парных повтора, порядок AB/BA сбалансирован. Каждый из 24 прогонов: свежие volumes, 4 запроса прогрева, пауза 2 с, idle 5 с, затем 3 волны по 10 клиентов, пауза 1 с. Arrival — барьерные closed-loop bursts. Окна 3.56–20.25 с, суммарно 233.31 с; 720 измеряемых и 96 прогревочных загрузок. Пилот исключён.
RAM — каждые 100 мс, сеть/CPU — разность счётчиков, фон не вычитается. Все 720 originals проверены вторым участником после измеряемого окна; ошибок/OOM/рестартов API/S3 нет. Покрытие sampler ≥80.1%, max gap 0.495 с, разброс старта ≤13.23 мс, CPU генератора ≤0.115 ядра, фон ≤0.344% payload — критерии качества выполнены.
Медианы трёх прогонов, proxy → direct. RAM — максимум sampled памяти одной API из двух, не сумма. Снижение трафика — по медиане парных R.
| Файл / пиксели | API МиБ/ready | Снижение; диапазон R | API RAM, МиБ | p95, с | ready/с |
|---|---|---|---|---|---|
| 1 МиБ / 1.05 млн | 2.021 → 1.023 | 49.34%; 0.5064–0.5080 | 136.05 → 138.72 | 0.350 → 0.665 | 7.89 → 6.62 |
| 10 МиБ / 1.05 млн | 20.114 → 10.045 | 50.05%; 0.4991–0.4998 | 148.44 → 147.18 | 1.199 → 2.429 | 4.71 → 3.11 |
| 1 МиБ / 40 млн | 2.020 → 1.036 | 48.74%; 0.5071–0.5128 | 381.27 → 384.05 | 2.522 → 3.187 | 3.15 → 2.80 |
| 10 МиБ / 40 млн | 20.121 → 10.046 | 50.07%; 0.4992–0.4996 | 392.00 → 393.06 | 3.148 → 5.166 | 2.32 → 1.78 |
| Файл / пиксели | p50, с | p99, с | API CPU, с/прогон | S3 CPU, с/прогон |
|---|---|---|---|---|
| 1 МиБ / 1.05 млн | 0.138 → 0.330 | 0.353 → 0.665 | 0.965 → 1.037 | 0.622 → 1.491 |
| 10 МиБ / 1.05 млн | 0.624 → 1.760 | 1.371 → 2.519 | 2.879 → 2.605 | 2.728 → 6.505 |
| 1 МиБ / 40 млн | 1.294 → 1.646 | 2.550 → 3.235 | 6.939 → 7.587 | 0.954 → 1.924 |
| 10 МиБ / 40 млн | 1.835 → 3.217 | 3.997 → 5.442 | 9.327 → 9.928 | 3.337 → 7.203 |
Вывод: H1 подтверждена в исследованных условиях: медианные R=0.4993–0.5126, все пары ниже 0.70. Экономия соответствует исключению передачи оригинала API→S3: API остаётся одно полное чтение для проверки. Ускорения и устойчивого снижения RAM не получено: direct p95 выше, goodput ниже. Память прежде всего растёт с числом пикселей; оба flow выполняют Decode. Max lifetime API — 397.36 МиБ при лимите 512.
Цена переносится на S3: RX+TX примерно удваивается, CPU возрастает в 2.0–2.4 раза. На 10 МиБ MinIO достигает лимита памяти: memory.events.max >0, lifetime peak до 512.84 МиБ при memory.max=512 МиБ, OOM=0; есть CPU throttling. Дополнительные round trips/COPY/GET и давление ресурсов согласуются с ростом задержки, но вклад каждого не изолирован. Складывать трафик API и S3 как независимые байты всей системы нельзя.
JSON · CSV · Трафик · RAM · p95.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка обслужившей API | Другая читает original | Proxy/direct для обеих реплик | Точный public failover — в протоколе; файлы сохранены |
| Restart DB/Redis/S3/API/cleanup | Сессия, metadata и bytes сохранены | Старый Bearer/receipt работают; StartedAt изменены | Длительность — в протоколе; потери не обнаружены |
| Остановка MinIO | Live 200, ready 503, затем original доступен | Проверено на обеих API | Проверено восстановление после ready; точный downtime не измерялся |
| Обрыв HTTP, PUT/COPY/GET/INSERT/БД/crash | Нет ложного ready; retry/cleanup | Backend fault-тесты с БД/S3 и тестовыми обёртками | Повреждённый файл не опубликован; очистка после grace |
| Ошибка DELETE/БД при cleanup | Задача остаётся | Повтор успешен, fresh/locked/ready защищены | Срок при недоступной зависимости не гарантируется |
Ограничения и следующие шаги
Один WSL-host, синтетический PNG, без TLS/WAN и браузерного benchmark; три повтора дают ограниченную оценку разброса. Запросы внутри прогона зависимы; p99 из 30 запросов близок к максимуму. Sampled RAM может пропустить всплеск; lifetime peak включает startup/прогрев. Page cache и чужая нагрузка хоста полностью не изолированы. Это не тест максимального RPS. Полные ограничения.
Общей транзакции PostgreSQL/S3 нет: журнал обеспечивает очистку неопубликованных объектов, но полного bucket reconciler и восстановления отсутствующих originals нет. Готовые непривязанные вложения сохраняются. Lifecycle проверен по настройкам/prefix; сутки не выжидались. Подпись — временное право записи staging, не одноразовая ссылка и не отзывается немедленно logout.
Единственные MinIO/PG/Redis не дают HA хранилищ; проверен restart с volumes, не потеря диска. HTTP/loopback и UI-токен в localStorage — учебные ограничения. Следующие проверки: TLS/WAN, длительная нагрузка, отдельный эксперимент с ресурсами S3 и стоимостью COPY/валидации; ускорение пока гипотеза.