Files
mtusi2026lab5/REPORT.md
T

16 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор: Гришко Дмитрий Михайлович, БВТ2303.
  • Целевая оценка: 5, трек 2 «Доказанная идемпотентность pipeline».
  • Ветка: solution/Grishko-BVT2303.
  • PR: ссылка
  • Источники: задание, контракт состояний, OpenAPI. Библиотеки и версии — go.mod. Помощь ИИ: OpenAI Codex — код, проверки и оформление.

Запуск из чистого clone

WSL Ubuntu/Linux, Git, Make, Python 3.9+, Docker Compose с --wait. Для сборки нужен интернет. Порты: API 8080, UI 5173, HAProxy 8404, S3 9000; эксперимент — 18085 и 18900.

Внешний порт API задаётся API_HTTP_PORT в .env, по умолчанию 8080. Внутри Docker API слушают APP_PORT=8080.

git clone --branch solution/Grishko-BVT2303 https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab5-fork.git
cd mtusi2026lab5-fork
python3 scripts/init_env.py
docker compose --project-name highload-lab5 --env-file .env -f compose.yml config --quiet
docker compose --project-name highload-lab5 --env-file .env -f compose.yml up -d --build --wait
curl --fail http://127.0.0.1:8080/health/ready
make check
make test BASE_URL=http://127.0.0.1:8080

Инициализация создаёт .env и случайные credentials в secrets/, сохраняя существующие значения. Compose выполняет миграции и S3 bootstrap перед запуском API/worker; завершение этих служебных контейнеров с кодом 0 штатно. Bucket приватный, download требует Bearer и членство в чате. API и worker не получают S3 root credentials.

Образы: Go 1.22.2 → Debian 12.15, PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0-management, HAProxy 3.2.25; MinIO собирается из закреплённой версии в Dockerfile. Фактические image ID серии — в environment-r*.json.

Генератор запускается командой python3 scripts/generate_evidence.py после эксперимента по инструкции, когда его каталог находится в evidence/idempotency. Он выполняет smoke, backend -race, проверки уровней 3–4, restart/failover и аудит готовой серии. Markdown с командами, exit code и выводом создаётся в evidence/criteria; история — в runs/. Ошибка обозначается FAIL / NOT RUN. По умолчанию проверяется последняя основная серия, другую можно задать через --campaign. Эксперимент заново не запускается. Проверки перезапускают только highload-lab5; одновременно с экспериментом их запускать нельзя.

Остановка с сохранением данных и последующий запуск:

docker compose --project-name highload-lab5 --env-file .env -f compose.yml down
docker compose --project-name highload-lab5 --env-file .env -f compose.yml up -d --wait

Намеренное удаление всех данных обычного стенда: та же команда down --volumes. В проверках удаление томов не используется.

Архитектура и решения

React → HAProxy → API ×2 → S3 staging + PostgreSQL (attachment, job/outbox)
                              ↓
                         dispatcher → RabbitMQ → worker → S3 original/variants
                                                            + PostgreSQL ready
Redis: общие сессии; PostgreSQL: сообщения, ACL, задания, версии и аудит.

Из lab4 сохранены авторизация, общие сессии, сообщения, идемпотентность запросов, вложения, приватный S3 и балансировка. Upload теперь отвечает 202 queued: байты уже в staging, attachment и job сохранены одной транзакцией. Resize в API не выполняется. Клиент опрашивает метаданные; content до ready отвечает 409.

Frontend различает загрузку, очередь, обработку и ошибку. Принятое вложение можно отправить до ready; изображение появляется после обработки. Доступны thumbnail/crop/WebP и отдельное скачивание original. Повтор проверки состояния выполняет GET, не создавая новую job.

  • Outbox: таблица заданий хранит намерение обработки. Dispatcher публикует persistent message в durable-очередь attachments.v1 с mandatory и publisher confirm. Неподтверждённая публикация повторяется; в сообщении только идентификаторы и версия.
  • Worker: отдельный процесс, prefetch 1 и одна активная задача на экземпляр. Попытка получает lease token; проверка версии/token и публикация метаданных защищены блокировками строк. ACK следует после COMMIT результата, намерения retry либо проверки терминального дубля.
  • Варианты: thumbnail вписывается в 256×256, crop — центральный 128×128, optimized — WebP до 1280×1280; thumbnail/optimized без увеличения. JPEG quality v1/v2 — 85/75, WebP — 80/65; метаданные не копируются. Original сохраняется побайтно.
  • Версии: уникальная job на (attachment_id, pipeline_version), ключи variants/{id}/v{version}/…, журнал публикаций. Upgrade v1→v2 создаёт новое намерение и помечает старую job superseded. Старая версия или token не могут опубликовать результат поверх новой.
  • Ошибки: максимум 5 попыток; временные ошибки — backoff с equal jitter, потолок 2, 4, 8, 16, 30 с. Постоянная ошибка изображения завершает job сразу. Вместо DLQ — реестр failed; replay с причиной записывается в аудит и не открывает успешную job.
  • Лимиты: upload ≤10 МиБ, API ≤40 млн пикселей, worker по умолчанию ≤8 млн. Worker: 1 CPU, RAM 512 МиБ, tmpfs 64 МиБ. Декодирование — дочерний процесс с timeout; родитель удаляет scratch. Staging удаляется после устойчивого ready, для failed — после retention 24 ч; queued/processing защищены.

API получает 0.5 CPU/512 МиБ на реплику. Пул PostgreSQL — 10 соединений на процесс. JOB_TIMEOUT_SECONDS по умолчанию 60 с; родительский timeout — +15 с, lease — ещё +5 с. В эксперименте это 10/25/30 с. JOB_MAX_ATTEMPTS, WORKER_MAX_PIXELS и *_FILE читаются приложением. WORKER_CONCURRENCY из .env.example не задаёт число процессов: используется масштабирование Compose. Сессии всегда в Redis; лимиты API заданы константами, а не строками MAX_* примера. Failed staging хранится 24 ч; STAGING_RETENTION_SECONDS реализацию не переопределяет.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make check, make test BASE_URL=http://127.0.0.1:8080 202 → ready, original и JPEG thumbnail smoke
3: минимум lab4 Backend -race, persistence/failover Авторизация, ACL, сообщения, общие данные baseline
3: устойчивый приём до 202 check_async_grade3.py Worker остановлен; принятая задача переживает restart API durable upload
3: отдельные broker/worker, durable и ack Inventory, grade3 RabbitMQ с volume, worker отдельно; очередь переживает restart broker/worker
3: состояния и варианты Smoke, grade3 Queued/ready/failed, неизменный original и thumbnail states/variants
3: retry, идемпотентность Grade3/4 5 попыток → failed; дубли не меняют ready retry
3: демонстрация restart Grade3, persistence, StartedAt/mounts Сообщение создано при worker off; после restart та же задача ready recovery
4: crop/WebP и лимиты check_async_grade4.py, backend Размеры/SHA-256, ACL; timeout child, отказ на 9 млн пикселей variants/limits
4: разрыв COMMIT/publish Grade4, commit_publish_gap После crash обрабатывается исходная job outbox
4: backoff, failed и replay Grade4 Jitter в заданном диапазоне; replay аудируется, ready не переоткрывается replay
4: crash после записи, lease, concurrency, staging Grade4, stale_lease Повтор без второго набора вариантов; старая попытка отклонена; staging защищён lease/cleanup
5: трек 2 Аудит основной серии 135/135, нарушения/OOM/невалидные случаи — 0 pipeline

Эксперименты и отказы

H1: дубли, reorder и остановки процессов не теряют принятые задания и не позволяют старой версии заменить новую. Критерий — все 135 случаев без нарушения инвариантов, OOM, невалидных случаев и пропусков данных. Гипотеза, методика, ограничения, воспроизведение.

Основная серия main-20261105T183859Z-d93b7abf: 5 независимых Compose-проектов × 3 профиля PNG × 9 сценариев. RGB 320×200, RGBA 640×360, RGB 1600×1000; seed 2303, порядок перемешивается внутри повтора. Перед каждым повтором — одна прогревочная загрузка. Пилот в выборку не включён. Управляющий клиент последовательный, worker ×2 с prefetch 1; API ×2. API — 0.5 CPU/512 МиБ, worker — 1 CPU/512 МиБ на процесс. Срок завершения после восстановления — 180 с.

Хост: Ryzen 9 PRO 7940HS; Docker Desktop/WSL2, kernel 6.6.87.1, 16 CPU и 7.40 GiB памяти Docker; Engine 29.8.1, Compose 5.5.1, Python 3.12.3. Серия длилась 68 мин 54 с вместе с подготовкой, прогревом и управлением процессами. Окружение и image ID, manifest, сырые случаи.

Сценарий Успешно Время всего сценария min / median / max, с
Без отказа 15/15 15.81 / 18.27 / 22.30
5 дублей до ready и 5 после 15/15 24.61 / 27.11 / 30.24
Доставка v2 перед v1 15/15 20.60 / 23.33 / 26.74
Crash после COMMIT до publish 15/15 15.99 / 21.31 / 23.19
Crash до side effect 15/15 47.25 / 50.14 / 55.15
Crash после S3 PUT до COMMIT 15/15 43.77 / 49.49 / 55.31
Crash после COMMIT до ACK 15/15 17.95 / 20.63 / 23.86
Доставка v1 после готовой v2 15/15 23.76 / 24.75 / 29.65
Продолжение устаревшей попытки 15/15 23.31 / 24.19 / 26.26

Результат: H1 подтверждена в исследованных условиях. Все 135 случаев завершены, нарушений, невалидных случаев и OOM нет. Аудит проверяет хеши архива исходников, матрицу случаев, журналы БД и 585 сохранённых файлов вариантов. После старой доставки опубликованная v2 и её SHA-256 сохраняются; принятые задания завершаются либо имеют учтённую замену новой версией.

Время в таблице включает остановки/запуски, опрос, проверку S3 и ожидание пустой очереди; это не latency обработки и не время восстановления. RPS, p50/p95/p99, фактические RSS и CPU не измерялись: выбранный трек проверяет корректность при отказах. Предыдущие незавершённые запуски остановились при подготовке RabbitMQ/исчерпании Docker-подсетей и не входят в эту серию.

Ограничения и следующие шаги

Доставка остаётся at least once. После сбоя S3 PUT и доставка сообщения могут повторяться; блокировки, версии, token и устойчивый журнал делают логический результат идемпотентным. Exactly-once доставка не заявляется.

Один host и три синтетических PNG не покрывают все изображения и порядки выполнения. Потеря диска/тома, сетевые разделения и HA зависимостей не проверялись. Блокировка строк удерживается во время обработки/S3-записи: это упрощает защиту от гонок, но занимает соединение БД. Старые версии объектов сохраняются; автоматическая очистка их истории не реализована. Вывод относится к проверенным v1/v2 и девяти сценариям.